Meta* анонсировала SeamlessM4T, мультимодальную модель искусственного интеллекта для перевода речи и текста. Эта нейронная сеть может обрабатывать как текст, так и аудио — она переводит текст в речь, речь в текст, речь в речь и текст в текст, воспринимая при этом «до 100 языков», согласно Meta*. Ее цель — помочь людям, говорящим на разных языках, более эффективно общаться друг с другом.
Meta* показала нейросеть, способную генерировать текст на более чем 100 языках
Цель компании — создать универсальный переводчик, похожий на «Вавилонскую рыбку» из «Автостопом по галактике».
GettyImages
Нейросеть-переводчик
Продолжая свой относительно открытый подход к ИИ, Meta* выпускает SeamlessM4T по исследовательской лицензии (CC BY-NC 4.0), которая позволяет разработчикам использовать модель в исходном виде и изменять ее.
Компания также выпустила SeamlessAlign, который называет «крупнейшим на сегодняшний день открытым набором данных для мультимодального перевода, насчитывающим 270 000 часов обработанной речи и выравнивания текста».
Вероятно, это послужит толчком к обучению будущих моделей ИИ переводу у других исследователей.
Компания заявляет, что SeamlessM4T может выполнять распознавание речи (вы даете ей аудиозапись речи, и она преобразует ее в текст), перевод речи в текст (она переводит произносимый звук на другой язык в виде текста), перевод речи в речь (вы загружаете в нее аудиозапись речи, и она выводит уже переведенный текст), перевод текста в текст (аналогично тому, как работает Google Translate), а также другие функции, такие как перевод текста в речь (введите ему текст, и он переведет и произнесет его на другом языке). Каждая из функций перевода текста поддерживает около 100 языков, а функции вывода речи поддерживают около 36 языков вывода.
*организация признана экстремистской и запрещена на территории России