Модель ИИ Brain2Music превращает мысли в музыку
![Модель ИИ Brain2Music превращает мысли в музыку Модель ИИ Brain2Music превращает мысли в музыку](https://images.techinsider.ru/upload/img_cache/af5/af54417cc74aca158fffa5134c65c764_ce_1369x913x0x72_cropped_510x340.webp)
Легендарный гитарист Rolling Stones Кит Ричардс однажды сказал: «Музыка — это язык, который не выражается конкретными словами. Она говорит эмоциями, и если она в костях, то она в костях».
Кит Ричардс знает музыку, а исследователи из Google и Университета Осаки (Япония) знают активность мозга, и они сообщили об успехах в реконструкции музыки не по костям, а по мозговым волнам человека, наблюдаемым в при томографии.
Пятерым испытуемым проигрывались музыкальные образцы 10 жанров, включая рок, классику, металл, хип-хоп, поп-музыку и джаз, а исследователи наблюдали за их мозговой активностью. Показатели функциональной магнитно-резонансной томографии (фМРТ) записывались во время прослушивания. (Показатели фМРТ, в отличие от показателей МРТ, регистрируют метаболическую активность в реальном времени).
Полученные данные были использованы для обучения глубокой нейронной сети, которая выявляла активности, связанные с различными характеристиками музыки, такими как жанр, настроение и инструментарий.
На промежуточном этапе в исследование была включена модель MusicLM. Эта модель, разработанная компанией Google, генерирует музыку на основе текстовых описаний. В качестве примера текстового описания можно привести, например, такое: «Медитативная песня, успокаивающая и умиротворяющая, с флейтой и гитарой. Музыка медленная, с акцентом на создание ощущения мира и спокойствия».
Исследователи связали базу данных MusicLM с показаниями фМРТ, что позволило их модели ИИ восстановить музыку, которую слышали испытуемые. Вместо текстовых инструкций активность мозга обеспечивала контекст для музыкальных произведений.
![](https://images.techinsider.ru/upload/img_cache/7a3/7a3592fce6cdabd5192f0ed3da55eb6a_cropped_510x190.webp)
«Наша оценка показывает, что реконструированная музыка семантически напоминает оригинальный музыкальный стимул», — говорит Тимо Денк из Google, один из авторов работы. Свою модель ученые назвали назвали Brain2Music.
«Сгенерированная музыка напоминает музыкальные стимулы, которые воспринимали испытуемые, в отношении таких семантических свойств, как жанр, инструментарий и настроение», — говорит Тимо Денк. Кроме того, были выявлены области мозга, отражающие информацию, поступающую от текстовых описаний музыки.
![Области мозга Области мозга](https://images.techinsider.ru/upload/img_cache/397/397134101887094764604003899613e4_cropped_510x264.webp)
Примеры, приведенные командой, демонстрируют удивительно схожее звучание музыкальных отрывков, интерпретированных Brain2Music на основе мозговых волн испытуемых.
В качестве примера была взята одна из самых ранних песен, вошедших в десятку лучших хитов 2000 года, — «Oops!... I Did It Again» Бритни Спирс. Ряд музыкальных элементов песни, таких как звучание инструментов и ритм, полностью совпадали, хотя слова были неразборчивы. Brain2Music ориентируется на инструментарий и стиль, а не на текст песни, пояснили исследователи.
Как композиторы будут писать музыку
ИИ еще не готов подключиться к нашему мозгу и сочинять идеально оркестрованные мелодии, но этот день, возможно, не так уж далек.
По словам Денка, будущая работа над моделями генерации музыки приведет к улучшению «временного соответствия между реконструкцией и стимулом». Он предположил, что впереди еще более точное воспроизведение музыкальных композиций «из чистого воображения».
Возможно, будущим авторам песен будет достаточно представить себе припев песни, и принтер, подключенный к слуховой коре по беспроводной связи, распечатает партитуру.
Пол Маккартни, автор песни «Yesterday», признанной по результатам опроса BBC в 1999 году лучшей песней XX века, говорил, что идея песни пришла к нему во сне, но ему потребовалось полтора года, чтобы ее дописать. Если будущий Маккартни придумает потенциальный мировой хит во сне, то модель типа Brain2Music, скорее всего, обеспечит полное, быстрое и точное воплощение, которое будет ждать автора за завтраком.