Microsoft тестує Copilot 3D: Нейронна мережа перетворює 2D-фото в 3D-об'єкти

Microsoft запустила в відкритий тестування незвичайну функцію Copilot 3D. Тепер будь-хто може спробувати перетворити свої плоскі фотографії в об'ємні 3D-моделі прямо в веб-версії Copilot, без підписки Pro. Користувачу достатньо завантажити в Copilot 3D звичайне 2D-зображення (JPG або PNG, до 10 МБ). Нейромережа сама проаналізує картинку і спробує створити на її основі тривимірний об'єкт. Текстові підказки не потрібні.

За першими відгуками тестувальників, включаючи журналістів The Verge, хороший результат виходить при чіткому розділенні об'єкта і фону (краще однотонний фон) і при роботі з зображеннями неживих предметів. Інструмент показав себе особливо добре з предметами меблів, простими об'єктами, такими як пляжний м'яч або банани. Навіть складні форми, як парасолька, при правильному вихідному зображенні можна отримати майже ідеально, хоча іноді нейромережа «захоплює» зайві деталі, такі як тіні.

Перетворення фото тварин або людей в 3D поки викликає складнощі. Також Copilot 3D блокує спроби створення моделей відомих людей або, ймовірно, захищеного контенту (наприклад, Маріо), видаючи помилку «Не можу генерувати контент». Система вимагає завантажувати тільки оригінальні зображення, на які у користувача є права.

Створені 3D-об'єкти зберігаються у користувача 28 днів. Їх можна завантажити у форматі GLB, сумісному з багатьма 3D-редакторами, ігровими движками (Unity, Unreal Engine) та додатками доповненої реальності (AR). За необхідності GLB можна конвертувати в STL для 3D-друку. Нову функцію можна протестувати в веб-версії Microsoft Copilot. Поки Copilot 3D демонструє вражаючий потенціал для дизайну, прототипування та AR, але його можливості по роботі з живими істотами або складними сценами потребують доопрацювання.