Google випустила ШІ для живої музичної імпровізації

Любителі експериментальної музики тепер можуть генерувати твори в режимі реального часу завдяки новому інструменту Magenta RealTime. Розробка Google відрізняється від звичних музичних ІІ незвичним підходом: замість створення цілого треку нейромережа працює з мікро-фрагментами довжиною всього дві секунди.

Такий метод відкрив несподівані можливості. По-перше, система стала доступна навіть на звичайних ноутбуках — демоверсія стабільно працює на безкоштовному тарифі Google Colab. По-друге, музикант може миттєво коригувати звучання прямо під час генерації, як при живому виконанні. Нейромережа постійно «прислухається» до останніх 10 секунд створеної музики, забезпечуючи плавність переходів.

Технічно Magenta RealTime представляє собою трансформер з 800 мільйонами параметрів, «вивченим» 190 тисячами годин інструментальної музики. Користувач задає напрямок текстовими підказками або аудіо-зразками, а система видає двосекундний фрагмент з якістю 48 кГц. Це створює ефект спільного джему з алгоритмом.

Однак у технології є специфічні обмеження. Через особливості навчальних даних модель краще справляється із західними жанрами і не генерує вокал з чіткими словами. Помітна і невелика затримка реакції — зміна стилю проявляється через 2-3 секунди. Розробники вже працюють над скороченням цього часу.

Вихідний код моделі і ваги опубліковані в відкритому доступі, що дозволяє ентузіастам доопрацьовувати систему. Зараз Magenta RealTime виглядає скоріше експериментальною площадкою для звукових досліджень, ніж готовим продуктом. Як зазначають самі творці, їхня мета — не замінити музикантів, а подарувати їм новий тип цифрового інструмента для спонтанної творчості.