Audio2face

Audio2face — приложение на базе AI, которое преобразует аудиозапись в синхронизированную лицевую анимацию для цифровых 3D-персонажей. С помощью предварительно обученной нейросети оно создаёт реалистичные движения губ, мимику и движения головы, соответствующие голосовой дорожке на любом языке.

Основные возможности

• Создание анимации из аудио в реальном времени с регулируемой выразительностью
• Поддержка любых языков и акцентов без повторного обучения
• Перенос анимации на разные модели 3D-персонажей
• Интеграция с процессами создания 3D-контента для игр, фильмов и интерактивных приложений
• Инструменты постобработки для точной настройки игры персонажа

Audio2face подходит создателям контента, аниматорам и разработчикам, которым нужно быстро создавать анимацию персонажей без ручной расстановки ключевых кадров. Инструмент доступен бесплатно в составе NVIDIA Omniverse Suite и работает со стандартными 3D-сетками, поэтому его можно использовать в разных производственных процессах.