Современные языковые модели искусственных интеллектов (ИИ) уже давно вышли за рамки простой обработки лишь одного текста. Они могут понимать разные языки, анализировать изображения, писать код, решать математические задачи и работать с аудио. Однако механизм, с помощью которого ИИ справляется с таким разнообразием данных, оставался до конца неясным. Ученые MIT, США, предположили: языковые модели используют подход, похожий на работу человеческого мозга.
Как мозг человека! Ученые доказали, что ИИ обрабатывает данные через «семантический центр»
Ученые из Массачусетского технологического института (MIT) обнаружили, что большие языковые модели (LLM) обрабатывают разнородные данные аналогично тому, как это делает человеческий мозг. Все дело в «семантическом центре», который объединяет информацию из различных источников, будь то текст, изображения или код. Вот что еще интересно узнать!
MIT News, iStock
Как языковые модели обрабатывают данные
В новом исследовании американские ученые выяснили, что ИИ применяет центральный «семантический узел» для обработки информации, конвертируя все входные данные в общий представленный формат.
Исследование показало: большие языковые модели (LLM) преобразуют различные типы данных в единую абстрактную форму, используя механизм, аналогичный тому, как человеческий мозг интерпретирует информацию.
- В нейронауке считается, что в передней височной доле мозга человека существует «семантический центр», который объединяет информацию из разных сенсорных источников — зрения, осязания и слуха.
- По аналогии, LLM конвертируют любые входные данные (текст, изображения, код) в центральный языковой формат.
- Например, если ИИ-модель обучена на английском языке, она использует английский как базовый инструмент для анализа даже китайского текста или математических выражений.
Подтверждение гипотезы о «семантическом узле»
Чтобы проверить свою гипотезу, ученые из MIT протестировали ИИ-модели, загружая в них предложения на разных языках, изображения с подписями, фрагменты кода и математические выражения.
Оказалось: внутри ИИ-модели все элементы получали схожие представления, несмотря на различие в формате данных.
Когда ученые анализировали, как ИИ обрабатывает китайский текст, они обнаружили, что внутри модели он преобразуется в структуру, аналогичную английскому.
То же самое происходило с кодом и математическими выражениями, что подтверждает: LLM используют общий семантический центр для обработки разнородных данных.
Практическое значение открытия
Полученные результаты помогут в дальнейшем развитии мультимодальных языковых моделей, — убеждены американские эксперты.
Например, понимание механизма «семантического узла» позволит повысить эффективность работы ИИ с несколькими языками одновременно. В настоящий момент при обучении модели новому языку она теряет часть точности в основном языке, однако новая информация о принципах обработки данных может помочь решить эту проблему.
К тому же исследователи MIT нашли способ управлять обработкой данных в LLM: им удалось изменить поведение модели, встраивая инструкции на английском языке, даже если сам ввод был на другом языке. Это открывает новые перспективы для создания более управляемых и точных языковых моделей.