Новий ШІ від Adobe здатний створювати звуки за голосом та текстом

Adobe Research спільно з Північно-Західним університетом розробили унікальну ІІ-модель Sketch2Sound, яка дозволяє створювати високоякісні звукові ефекти, використовуючи голосові підказки та текстові описи. Модель аналізує три ключові аспекти голосового вводу: гучність, тембр та висоту тону. Після цього алгоритм поєднує їх з текстом для генерації потрібного звуку.

Особливість моделі полягає в використанні технології фільтрації, яка дозволяє точно керувати створюваними звуками. Користувачі можуть вибрати більш детальне управління або розслаблений підхід залежно від потреб. Ця технологія може значно спростити створення звукових ефектів для фільмів, дозволяючи фахівцям обходитися без фізичних об'єктів для запису звуків. Нейромережа дозволяє створювати звуки, які відповідають як текстовому запиту, так і імітації голосових або звукових сигналів.

Очікується, що Sketch2Sound буде доступна після завершення доопрацювань, однак точна дата релізу та умови комерційного використання поки що невідомі.