Впервые в мире исследователи Сиднейского технологического университета разработали портативную неинвазивную систему, которая может декодировать мысли и превращать их в текст. Эта технология может помочь людям, которые не могут говорить из-за болезни или травмы, включая инсульт или паралич. Это также может обеспечить беспрепятственную связь между людьми и машинами, например, работу бионической руки или робота.
Электронная шапочка под управлением ИИ превращает мысли в текст
Впервые в мире исследователи Сиднейского технологического университета разработали портативную неинвазивную систему, которая может декодировать мысли и превращать их в текст. Эта технология может помочь людям, которые не могут говорить из-за болезни или травмы, включая инсульт или паралич. Технология не требует установки имплантатов или введения электродов в мозг.
Исследователь тестирует технологию DeWave. Сиднейский технологический университет
Главное достижение этой работы — простота устройства, которое обеспечивает интерфейс мозг-компьютер. Человека не надо помещать в аппарат МРТ, достаточно надеть на него «шапочку» из электродов.
Обычная телепатия
Участники исследования читали про себя отрывки текста, надев специальную шапочку, которая записывала электрическую активность мозга через кожу кости черепа с помощью электроэнцефалограммы (ЭЭГ). Необходимость делать трепанацию или вводить электроды в мозг — не было.
Волны ЭЭГ сегментируется на отдельные блоки, которые отражают определенные характеристики и закономерности работы человеческого мозга. Это делается с помощью модели искусственного интеллекта под названием DeWave, разработанной исследователями. DeWave переводит сигналы ЭЭГ в слова и предложения, обучаясь на больших объемах данных ЭЭГ.
«Это исследование представляет собой новаторскую попытку перевода необработанных волн ЭЭГ непосредственно в язык, что знаменует собой значительный прорыв в этой области», — говорит соавтор работы Чин-Тенг Линь.
«Это первая технология, которая включила методы дискретного кодирования в процесс перевода ЭЭГ мозга в текст. Интеграция с большими языковыми моделями также открывает новые возможности в нейробиологии и искусственном интеллекте», — добавляет ученый.
До сих пор технология перевода сигналов мозга в текст или речь требовала либо хирургического вмешательства по имплантации электродов в мозг, как, например, в Neuralink Илона Маска, либо сканирования на аппарате МРТ, который трудно использовать в повседневной жизни.
Исследование является продолжением предыдущей технологии интерфейса «мозг-компьютер», разработанной Сиднейским университетом совместно с Силами обороны Австралии, которая использует волны ЭЭГ для управления четвероногим роботом.
Точность трансляции
Использование сигналов ЭЭГ, полученных через шапочку, а не от электродов, имплантированных в мозг, означает, что сигнал становится более шумным. Однако технология показала самые современные результаты.
«Модель лучше подходит для сопоставления глаголов, чем существительных. Однако, когда дело доходит до существительных, мы заметили тенденцию к использованию синонимических пар, а не точных переводов, таких как "человек" вместо "автор"», — отмечает соавтор работы Ицюнь Дуань.
«Мы думаем, что это происходит потому, что семантически близкие слова создают схожие паттерны ЭЭГ волн. Несмотря на трудности, наша модель дает хорошие результаты, совпадая по ключевым словам и формируя схожие структуры предложений», — говорит он.
Показатель точности перевода на тесте BLEU-1 в настоящее время составляет около 40%. Оценка BLEU — это число от нуля до единицы, которое измеряет сходство машинно-переведенного текста с высококачественным справочным переводом. Исследователи надеются довести этот показатель улучшится до уровня, сравнимого с традиционными программами языкового перевода или распознавания речи, который приближается к 90%.