В работе появился новый набор для создания Unity 3D, использующий захват производительности Live2D с помощью набора инструментов дополненной реальности ARCore от Google. Программное обеспечение позволяет в режиме реального времени отслеживать лица с помощью веб-камеры или другого устройства захвата, при этом визуализированный вывод выполняется по мере визуализации исполнения или движений.
Denchi Soft выпустил почти десятиминутное видео, чтобы продемонстрировать, как работает программное обеспечение, и продемонстрировать, что вы можете ожидать от комплекта, когда он в конечном итоге будет выпущен для публики в какой-то момент в первом квартале 2020 года.
Вы можете проверить демонстрацию видео ниже.
Итак, как показано на видео, данные о лицах считываются и сохраняются ARCore, а затем поступают в нейронный обучающий конвейер Tensor Flow, который подключается к Barracuda в Unity 3D. Оттуда данные передаются по протоколу UDP на основной Студия VTube интерфейс с использованием анимаций Live2D и элементов управления пользовательского интерфейса.
Изучив основы работы программного обеспечения, мы продемонстрировали, как тонирование цвета и физическое рендеринг освещения могут также применяться к моделям Live2D, создавая восприятие динамического освещения в реальном времени.
Вы также можете настроить фон, импортировать различные сцены и даже настроить горячие клавиши, чтобы вы могли изменять выражения лица, загружать пользовательские макросы и создавать конкретные реакции для оживления прямой трансляции.
Уже есть некоторые 3D-решения, которые ведут себя подобно тому, что Студия VTube можно, но если вы более заинтересованы в использовании нарисованных от руки персонажей, как показано на видео выше, то Студия VTube это определенно путь.
Если бы YouTube не взрывался, то я бы, наверное, сказал, что у виртуальных клубней впереди были захватывающие времена, но в настоящий момент энтузиастам не очень-то интересно смотреть на создание контента, если, конечно, вы просто делали это ради черта. из этого и не на самом деле генерировать какой-либо значительный доход от усилий.
Вы можете узнать больше о Студия VTube от Denchi Soft, проверив Страница GitHub.
(Спасибо за новостной совет Wondy Bergers)
