24.05.2024, 19:13

Впервые удалось декодировать речь в реальном времени по интерфейсу мозг-компьютер

Команда нейробиологов из Калифорнийского технологического института разработала интерфейс, позволяющий полностью декодировать «произносимые» слова в мозгу путем записи сигналов от отдельных нейронов в реальном времени. Это удалось впервые.

Владимир Губайловский

Теги:

Мозг

Искусственный интеллект

Нейробиология

Впервые удалось декодировать речь в реальном времени по интерфейсу мозг-компьютер

Схема работы интерфейса мозг-компьютера при декодировании речи. UC San Francisco (UCSF)

Мы постоянно узнаем о новых и новых попытках дать возможность говорить людям, у которые обычно после тяжелого инсульта говорить не могут. Ученые сообщают об успехах, но проблема остается. Быстро и точно распознавать речь удается только в тех случаях, когда имплантат ставят прямо на кору мозга, что достаточно рискованно. А вот неинвазивные методы с помощью ЭЭГ результаты дают пока очень скромные. Но работа продолжается.

Команда нейробиологов из Калифорнийского технологического института разработала интерфейс BCI (brain–computer interface), позволяющий полностью декодировать «произносимые» слова в мозгу путем записи сигналов от отдельных нейронов в реальном времени. Это удалось впервые..

В своем исследовании, опубликованном в журнале Nature Human Behavior, группа имплантировала зонды в супрамаргинальную извилину — область мозга, которая никогда ранее не тестировалась для технологии BCI.

Супрамаргинальная (надкраевая) извилина выделена желтым

Википедия

За последние несколько десятилетий ученые разработали технологии, позволяющие читать мысли человека и преобразовывать их в напечатанные слова на экране компьютера. Такая работа привела к развитию технологии BCI, хотя и с ограниченными возможностями. Например, некоторые технологии могли распознавать слова, но большинство из них использовались совместно с обученными переводчиками речи и тестировались на людях, которые могли говорить.

Декодирование речи «на лету»

a,b, Расположение имплантатов SMG у участника 1 (1 × 96 многоэлектродных массивов) (a) и участника 2 (1 × 64 многоэлектродных массивов) (b). c,d, Расположение имплантатов S1 у участника 1 (2 × 96 многоэлектродных массивов) (c) и участника 2 (2 × 64 многоэлектродных массивов) (d).

https://www.nature.com/articles/s41562-024-01867-y/figures/1

В этом новом исследовании ученые немного изменили подход, протестировав технологию BCI на той части мозга; которая никогда прежде для декодирования не использовалась — на супрамаргинальной извилине. Ученые смогли расшифровать несколько слов, которые были «произнесены» только в мозгу.

Ученые установили массивы электродов в мозг двух добровольцев с травмами спинного мозга. Электроды были имплантированы в супрамаргинальную извилину — часть мозга, которая, как показывают недавние исследования, участвует в «непроизнесенной» речи.

Дав пациентам возможность адаптироваться в течение двух недель, исследователи начали собирать данные для BCI, который уже был обучен распознавать сигналы мозга для шести тестовых слов. Затем добровольцев несколько раз просили представить, как они произносят слова, отображаемые на экране компьютера, пока декодируются сигналы их мозга.

Пример работы интерфейса мозг-компьютер при декодировании речи. UC San Francisco (UCSF)

Исследовательская группа обнаружила, что они смогли расшифровать слова одного пациента с точностью 79% и 23% — другого. Обе попытки были признаны успешными, хотя исследователи не смогли объяснить, почему они обнаружили такую большую разницу среди добровольцев.