Google DeepMind представив Genie 3: Генерація світів за текстом з управлінням «як у грі»

Команда Google DeepMind представила Genie 3 — нову нейромережу для генерації інтерактивних віртуальних світів. Модель дозволяє створювати середовища за текстовим описом і досліджувати їх в режимі реального часу, як у простій відеогрі.

Ключове покращення Genie 3 — здатність довше зберігати цілісність згенерованого світу. Якщо в попередній версії (Genie 2) взаємодія тривала не більше 20 секунд, то тепер користувач може досліджувати віртуальний простір кілька хвилин без критичних спотворень. Система навчилася «запам'ятовувати» об'єкти, які тимчасово зникають з поля зору камери.

Нейромережа генерує світи в роздільній здатності 720p і з частотою кадрів 24 fps. Модель підтримує складні сценарії, серед яких: погодні ефекти, фізика води, динамічне освітлення, екосистеми з флорою і фауною. Стилістика створюваних світів може варіюватися від фотореалістичних локацій до анімаційних і фентезійних.

Як це працює? Користувач задає текстовий запит (наприклад, «дослідження венеціанських каналів з човна» або «політ над вулканом»). Genie 3 генерує середовище, де можна переміщатися за допомогою клавіатури. З'явилася функція «промпт-подій» — можливість змінювати світ у процесі: додати дощ, персонажа або змінити ландшафт новим текстовим запитом.

Технологія розглядається не тільки як інструмент для розваг, але й для навчання ІІ-агентів в симульованих умовах, освітніх проектів або прототипування ігрових локацій. На даний момент Genie 3 демонструє прогрес у створенні «стійких» нейрогенерованих середовищ, де користувацький досвід стає менш фрагментованим, ніж у попередників.