Нова нейромережа створює рухомі світи з статичних знімків

Китайський технологічний гігант Tencent анонсував цікаву розробку для творців контенту — модель штучного інтелекту HunyuanWorld-Voyager — інструмент дозволяє на основі всього одного статичного зображення згенерувати коротке відео, яке створює ілюзію руху камери всередині сцени.

На відміну від стандартних відео-генераторів, таких як Sora, які просто малюють послідовність правдоподібних кадрів, Voyager фокусується на збереженні просторової узгодженості, що означає, що при «руху» камери вперед або вбік об'єкти на зображенні не плавають і не спотворюються довільно, а зберігають свої пропорції і положення, як у справжньому тривимірному середовищі.

Користувач завантажує будь-яке зображення — наприклад, фотографію інтер'єру кімнати або пейзажу. Потім задає траєкторію, по якій повинна рухатися віртуальна камера, а система видає на виході 49 кадрів (близько 2 секунд відео), які можна об'єднувати в більш довгі послідовності.

Ключова особливість технології — одночасна генерація не тільки кольорового відео, але й даних про глибину сцени, що дозволяє перетворити результат у хмару 3D-крапок для подальшого моделювання, що може бути вкрай корисно в геймдеві. Однак модель не створює істинний 3D-простір, а лише майстерно його імітує, через це на довгих сценах або при спробі зробити повний оберт на 360 градусів можуть виникати помилки.

Головним бар'єром для широкого використання технології вважаються апаратні вимоги. так для роботи навіть у мінімальній якості (540p) моделі потрібна відеокарта як мінімум з 60 ГБ оперативної пам'яті, а для стабільного результату рекомендовані карти з 80 ГБ — такі рішення дорогі і рідкісні.

Доступ до моделі формально відкритий на платформі Hugging Face, але її ліцензія забороняє використання на території Євросоюзу, Великої Британії та Південної Кореї. Великі комерційні компанії з аудиторією понад 100 млн користувачів також потребуватимуть окремої угоди з Tencent.

Незважаючи на існуючі обмеження, Voyager цікавий для вузьких завдань, але поки це скоріше цікавий інструмент для ентузіастів і професіоналів, ніж масовий продукт. Експерти зазначають, що подібні розробки — від Tencent, Google (Genie 3) та інших стартапів дозволять спростити вхід у геймдев і в результаті створювати більш якісні та детальні світи.