Чтение мыслей на расстоянии ставится все ближе к реальности
Ученые Йельского университета разработали систему ИИ-модель, способную расшифровывать фМРТ-сканы. Модель, получившая название MindLLM, создает текстовое описание мыслительного процесса субъекта, анализирует фМРТ-скан. Модель обучена таким образом, что она не зависит от конкретного человека и в принципе может «читать мысли» любого, но ей для этого нужны фМРТ-сканы. Работа размещена на сервере arXiv.
Функциональная магнитно-резонансная томография (фМРТ) измеряет активность мозга только косвенно, нейроны она не видит. фМРТ измеряет уровень оксигенации крови, так называемый гемодинамический ответ: активные зоны мозга потребляют больше кислорода. Вот это и видит фМРТ. Ее картинка отстает от реальной нейронной активности иногда на целую секунду, но она обеспечивает пространственную карту активации мозга, хотя и с ограниченным временным разрешением. Эта техника предоставила многочисленные сведения о роли, которую играют различные зоны мозга. Но расшифровка сложных мыслей с помощью таких сканов — большая проблема.
Ученые, разработавшие MindLLM, подошли к проблеме напрямую. Модель состоит из двух основных компонентов: кодировщика сканов фМРТ и большой языковой модели (LLM). Кодировщик фМРТ обрабатывает данные сканирования и преобразует их в формат, который может понять LLM, предварительно обученная на широком спектре изображений с текстовыми описаниями.
Данные фМРТ состоят из сканов мозга людей, которые рассматривали изображения и давали ответ о его содержании. Например, если показано изображение бейсболиста в процессе броска, то спрашивается, что он бросает. Учитывая данные фМРТ, MindLLM должен сгенерировать текст, который описывает мозговую активность, зафиксированную при сканировании.
Одним из ключевых нововведений MindLLM является его способность фокусироваться на наиболее важных частях данных фМРТ, что повышает их точность и эффективность. Другим важным аспектом MindLLM является метод, известный как настройка инструкций мозга (BIT). Он включает в себя обучение модели на разнообразном наборе изображений и текста, что позволяет ей захватывать широкий спектр представлений из сигналов фМРТ. Набор данных BIT включает задачи, связанные с восприятием, памятью, обработкой языка и сложными рассуждениями, гарантируя, что MindLLM может декодировать различные аспекты человеческой мысли.
Потенциальные приложения MindLLM разнообразны. Ученые говорят, что модель можно использовать для разработки интерфейсов мозг-компьютер, которые позволяют людям управлять устройствами с помощью своих мыслей. Модель может дать представление о когнитивных процессах, помогая исследователям лучше понять, как работает мозг.
Чтение мыслей на расстоянии
Способность MindLLM декодировать мысли имеет этические последствия, которые обществу придется учитывать. Возможность декодирования личных мыслей вызывает опасения по поводу конфиденциальности и безопасности, и важно установить этические принципы для разработки и внедрения такой технологии. Ученые признают, что они не смогут контролировать любое использование модели.
Несмотря на впечатляющие результаты, MindLLM все еще находится на ранних стадиях разработки. Одним из ограничений является то, что фМРТ не является методом визуализации в реальном времени и требует значительного времени обработки, а также дорогостоящего громоздкого оборудования. Будущие исследования могут изучить более быстрые и портативные методы визуализации мозга, такие как электроэнцефалография (ЭЭГ) или функциональная спектроскопия в ближнем инфракрасном диапазоне, чтобы дополнить или заменить фМРТ в практических приложениях.
Кроме того, исследователи стремятся изучить связь между данными фМРТ и другими типами информации, такими как видео, чтобы получить более полное представление об активности мозга.