Впервые интерфейс мозг-компьютер помог человеку говорить двух языках
Впервые мозговой имплантат помог человеку, который не может произносить слова, общаться на обоих языках, которые он знает. Модель искусственного интеллекта, соединенная с мозговым имплантатом времени расшифровывает то, что человек пытается сказать на испанском или английском языке. Результаты работы опубликованы в журнале Nature Biomedical Engineering.
ИИ-модель помогла человеку заговорить на двух языках
Человек, который добровольно согласился стать участником эксперимента (в работе он упоминается под псевдонимом Панчо) в 20 лет перенес инсульт, который парализовал большую часть его тела. Говорить он больше не смог, хотя может воспроизводить некоторые звуки. Когда Панчо было уже больше 30, он стал участником эксперимента нейрохирурга из Калифорнийского университета в Сан-Франциско Эдварда Чанга. Команда Чанга хирургическим путем имплантировала электроды в кору головного мозга Панчо для записи нейронной активности. Нейронные паттерны с помощью системы ИИ были переведены в слова.
Первое предложение, которое сказал Панчо было на английском языке: «My family is outside». Но Панчо нативный носитель испанского языка, он выучил английский только после инсульта. Он — поздний билингв.
Система ИИ через имплантат обучалась на нейронных паттернах каждого слова, которое хотел сказать Панчо. В результате она стала уверенно распознавать около 200 слов на двух языках. ИИ угадывает английский и испанский языки по первому слову с точностью 88% и правильно декодирует предложение с точностью 75%.
Два языка — одна область мозга
Результаты ученых выявили неожиданные аспекты обработки речи в мозге билингв. Используя неинвазивные методы в предыдущих экспериментах, нейробиологи пришли к выводу, что разные языки активируют разные регионы мозга.
Но в новой работе ученые показали, что основная активность как при испанской, так и при английской речи происходит в одной и той же области мозга.
Причем нейронные реакции Панчо не сильно отличались от реакций детей, выросших двуязычными, хотя ему было за тридцать, когда он выучил английский. Эти результаты позволяют предположить, что при использовании разных языков билингвами, нейронная активность практически совпадает. Пример Панчо, по мнению ученых, говорит о том, что даже у поздних билингв, второй язык не сохраняется в отдельном регионе мозга, а как бы дополняет первый.
Теперь ученые собираются поставить аналогичный эксперимент с билингвами, чьи языки артикуляционно отличаются гораздо сильнее, чем испанский и английский, например, с людьми, которые владеют английским и японским.