Новая программа может создавать тексты для инструментальной музыки
За последние несколько десятилетий ученые разработали вычислительные инструменты, которые могут генерировать определенные типы данных, такие как изображения, слова или аудиозаписи. Эти системы могут иметь множество применений, особенно в творческих областях, связанных с созданием новых произведений искусства.
Ученые Университета Ватерлоо уже несколько лет проводят исследования, посвященные генерации лирической музыки. Совсем недавно инженеры также начали исследовать возможность генерации текстов для звуковых дорожек инструментальной музыки. В своем новом исследовании ученые представили систему LyricJam, которая может генерировать тексты, подходящие под конкретную музыку.
Система ученых преобразует необработанные аудиофайлы в спектрограммы, а затем с помощью моделей глубокого обучения генерирует тексты песен, соответствующие музыке, которую они обрабатывали в режиме реального времени. Архитектура модели состоит из двух вариационных автоэнкодеров, один из которых предназначен для анализа звуковых паттернов в мелодии, а другой — для анализа сгенерированного текста.
После этого ученые разработали две новые программы, которые позволяют совмещать результаты работы двух энкодеров, подгоняя таким образом слова под музыку. В конечном счете, эти механизмы позволяют программе с машинным обучением узнать, какие типы текстов хорошо сочетаются с конкретной мелодией.
Главная особенность, которая отличает LyricJam от других систем генерации текстов, разработанных в прошлом, заключается в том, что она может создавать подходящие тексты в реальном времени — прямо в тот момент, пока исполнитель играет мелодию вживую. «Поиграться» с новым искусственным интеллектом или использовать его для своей работы можно через сайт проекта.
Препринт статьи опубликован на сайте arXiv.org.
Новый искусственный интеллект может придумывать слова к песне прямо в тот момент, пока она играет. Получившиеся тексты несут даже больший смысл, чем у большинства современных исполнителей