NVIDIA отваря кода на Audio2Face за създаване на реалистични дигитални аватари

NVIDIA обяви, че отваря кода на своя модел Audio2Face, който позволява създаване на 3D анимации само чрез гласов вход.

Технологията използва генеративни видео модели, текст-към-реч системи и големи езикови модели, за да изгради пълноценни дигитални аватари.

Audio2Face анализира интонация и фонеми от звуковия сигнал и ги превръща в поток от анимационни данни.Тези данни се картографират върху лицеви изражения, като предават емоции и настроение в реално време.Целият процес може да се използва както за предварително записано съдържание, така и за живо предаване с автоматичен синхрон на устните.
NVIDIA предоставя не само модела, но и целия SDK и тренировъчната рамка, за да могат разработчици и ентусиасти да създават собствени персонализирани аватари.
Компанията предлага и плъгини за Autodesk Maya и Unreal Engine, улеснявайки интеграцията в 3D проекти.

Гейм студиа вече използват Audio2Face като бързо решение за автентична мимика и многоезичен липсинг, спестявайки време и усилия на аниматорите.