NVIDIA відкриває код AI-аніматора обличчя Audio2Face для всіх розробників

NVIDIA вирішила відкрити вихідний код своєї розробки — технології Audio2Face, що дозволить студіям будь-якого розміру використовувати просунуту систему анімації облич для створення більш живих і правдоподібних персонажів, не вдаючись до величезних витрат на захоплення обличчя.

Раніше інструменти були доступні в основному великим ігровим компаніям, тепер же навіть невеликі незалежні команди зможуть легко інтегрувати технологію у свої проекти, яка перетворює звичайну мову в реалістичну міміку в реальному часі і дозволяє синхронізувати губи з мовленням і навіть передавати емоції персонажів — від радості до здивування.

В відкритий доступ увійде не тільки основний SDK, але й плагіни для популярних ігрових движків, таких як Unreal Engine 5 і Unity, більш того, розробники отримають доступ до фреймворків для навчання моделей і бібліотек з готовими прикладами. Окремий інтерес представляє компонент Audio2Emotion, який аналізує інтонацію голосу і автоматично визначає емоційний окрас мовлення для його відображення на обличчі персонажа.

Серед перших студій, які вже випробували технологію, — студії Codemasters, GSC Game World і NetEase. Відкритий доступ до таких рішень може прискорити появу ігор, де взаємодія з неігровими персонажами стане набагато більш природною, при цьому зникнуть «кам'яні» обличчя і механічні діалоги, а NPC будуть реагувати на репліки гравця з живою, хоч і згенерованою, мімікою.

Важливий нюанс: технологія є частиною більш масштабної платформи NVIDIA ACE, яка заточена під залізо компанії. Теоретично, аналогічні функції можуть працювати і на відеокартах інших виробників, однак на практиці NVIDIA, ймовірно, буде оптимізувати свої рішення саме для власного обладнання. Відкриття коду Audio2Face — це значний крок до того, щоб складна AI-анімація стала стандартом для індустрії, а не ексклюзивною фічею для проектів з великими бюджетами.