В большую языковую модель добавили «систему самоанализа»

Но остается одна очевидная слабость LLM — их неспособность проверять собственные результаты, чтобы убедиться, что они не представляют пользователям «галлюцинации», то есть не имеют смысла. Эта слабость не позволяет использовать ИИ для действительно важных приложений, которые полагаются на целостность данных и чье применение критично к ошибкам.

В этой новой работе команда Baidu придумала стратегию, направленную на то, чтобы заставить LLM проверять свою работу перед тем, как предоставить результаты конечным пользователям. Работа размещена на сайте препринтов arXiv.

Новый подход заключается в добавлении трехэтапного процесса в движок LLM непосредственно перед представлением результатов. Первый — добавить модель, учитывающую релевантность результатов промпту пользователя. Второй этап включает в себя выбор из серии ответов, учитывающий доказательства, основанные на релевантных документах. Третий этап включает в себя модуль анализа траектории, который проводит четкий и краткий анализ того, как LLM пришла к тому выводу, который модель считает правильным.

Исследователи считают, что такой подход заставит LLM быть более внимательными к предоставленным пользователям ответам, что в конечном итоге повысит точность информации. Группа проверила свои идеи, добавив тестовые модули к LLM и протестировав на своих промптах. Ученые утверждают, что улучшенные LLM смогли превзойти GPT-4, используя гораздо меньшие наборы обучающих данных.

Исследователи предполагают, что такие дополнения, как их модуль SELF-REASONING, могут привести к более надежным LLM. Это сделает модели пригодными для большего количества приложений. Ученые также предполагают, что они откроют возможность создания новых моделей для большего количества разработчиков, которые в настоящее время не имеют доступа к огромным наборам обучающих данных.