Модель ИИ Brain2Music превращает мысли в музыку
Легендарный гитарист Rolling Stones Кит Ричардс однажды сказал: «Музыка — это язык, который не выражается конкретными словами. Она говорит эмоциями, и если она в костях, то она в костях».
Кит Ричардс знает музыку, а исследователи из Google и Университета Осаки (Япония) знают активность мозга, и они сообщили об успехах в реконструкции музыки не по костям, а по мозговым волнам человека, наблюдаемым в при томографии.
Пятерым испытуемым проигрывались музыкальные образцы 10 жанров, включая рок, классику, металл, хип-хоп, поп-музыку и джаз, а исследователи наблюдали за их мозговой активностью. Показатели функциональной магнитно-резонансной томографии (фМРТ) записывались во время прослушивания. (Показатели фМРТ, в отличие от показателей МРТ, регистрируют метаболическую активность в реальном времени).
Полученные данные были использованы для обучения глубокой нейронной сети, которая выявляла активности, связанные с различными характеристиками музыки, такими как жанр, настроение и инструментарий.
На промежуточном этапе в исследование была включена модель MusicLM. Эта модель, разработанная компанией Google, генерирует музыку на основе текстовых описаний. В качестве примера текстового описания можно привести, например, такое: «Медитативная песня, успокаивающая и умиротворяющая, с флейтой и гитарой. Музыка медленная, с акцентом на создание ощущения мира и спокойствия».
Исследователи связали базу данных MusicLM с показаниями фМРТ, что позволило их модели ИИ восстановить музыку, которую слышали испытуемые. Вместо текстовых инструкций активность мозга обеспечивала контекст для музыкальных произведений.
«Наша оценка показывает, что реконструированная музыка семантически напоминает оригинальный музыкальный стимул», — говорит Тимо Денк из Google, один из авторов работы. Свою модель ученые назвали назвали Brain2Music.
«Сгенерированная музыка напоминает музыкальные стимулы, которые воспринимали испытуемые, в отношении таких семантических свойств, как жанр, инструментарий и настроение», — говорит Тимо Денк. Кроме того, были выявлены области мозга, отражающие информацию, поступающую от текстовых описаний музыки.
Примеры, приведенные командой, демонстрируют удивительно схожее звучание музыкальных отрывков, интерпретированных Brain2Music на основе мозговых волн испытуемых.
В качестве примера была взята одна из самых ранних песен, вошедших в десятку лучших хитов 2000 года, — «Oops!... I Did It Again» Бритни Спирс. Ряд музыкальных элементов песни, таких как звучание инструментов и ритм, полностью совпадали, хотя слова были неразборчивы. Brain2Music ориентируется на инструментарий и стиль, а не на текст песни, пояснили исследователи.
Как композиторы будут писать музыку
ИИ еще не готов подключиться к нашему мозгу и сочинять идеально оркестрованные мелодии, но этот день, возможно, не так уж далек.
По словам Денка, будущая работа над моделями генерации музыки приведет к улучшению «временного соответствия между реконструкцией и стимулом». Он предположил, что впереди еще более точное воспроизведение музыкальных композиций «из чистого воображения».
Возможно, будущим авторам песен будет достаточно представить себе припев песни, и принтер, подключенный к слуховой коре по беспроводной связи, распечатает партитуру.
Пол Маккартни, автор песни «Yesterday», признанной по результатам опроса BBC в 1999 году лучшей песней XX века, говорил, что идея песни пришла к нему во сне, но ему потребовалось полтора года, чтобы ее дописать. Если будущий Маккартни придумает потенциальный мировой хит во сне, то модель типа Brain2Music, скорее всего, обеспечит полное, быстрое и точное воплощение, которое будет ждать автора за завтраком.