Могут ли логично рассуждать большие языковые модели
Рассуждения — процесс, в ходе которого человек мысленно обрабатывает информацию, чтобы сделать конкретные выводы или решить проблемы, — можно разделить на две основные категории. Первый тип — это дедуктивные рассуждения. В этом случае вывод делается на основе безусловных предпосылок (например, некоторых фактов) по определенным правилам.
Например, из предпосылок «у всех собак есть уши» и «чихуахуа — собаки», можно сделать вывод, что «у чихуахуа есть уши».
Вторая форма рассуждений — индуктивное рассуждение, которое сводится к некоторым обобщениям на основе конкретных наблюдений. Например, если вы видели только белых лебедей, вы можете сделать ошибочный вывод, что все лебеди белые.
Многочисленные исследования показали, как люди используют дедуктивные и индуктивные рассуждения в своей повседневной жизни. Но как системы искусственного интеллекта используют эти типы рассуждений до сих пор изучалось редко.
Владеет ли ИИ дедукцией
Группа ученых из Amazon и Калифорнийского университета в Лос-Анджелесе провела исследование, посвященное изучению фундаментальных способностей к рассуждениям у больших языковых моделей (LLM) — крупных систем искусственного интеллекта, способных обрабатывать и генерировать тексты на человеческих языках. Результаты исследования, опубликованные на сервере препринтов arXiv,.
Чтобы четко отличить индуктивные рассуждения от дедуктивных, исследователи разработали новую модель, названную SolverLearner. Модель использует двухэтапный подход, позволяющий отделить процесс изучения правил рассуждений от процесса их применения к конкретным случаям. В частности, правила применяются с помощью внешних инструментов, таких как интерпретаторы кода.
Исследователи показали, что LLM очень хорошо справляются с заданиями на индуктивные рассуждения, однако им часто не хватало способностей к дедуктивным рассуждениям. Особенно плохо дедуктивное мышление проявлялось в сценариях, основанных на гипотетических предположениях или при редких, отклоняющихся от нормы сценариях.
LLM скорее всего знает, что бывают черные лебеди, и не сделает ошибочного индуктивного предположения, что все лебеди белые.
Давайте придумаем вид собак, которых не существует в природе, например «хуахуачи» (гипотетическое предположение). LLM, естественно, ничего о таких собаках не знает. Мы предложим модели сделать вывод на основе двух предпосылок «у всех собак есть уши» и «хуахуачи — собаки». В этом случае LLM скорее всего засомневается, есть ли у хуахуачи уши, хотя, чтобы сделать правильный дедуктивный вывод — «у хуахуачи есть уши», не нужно знать, что такие хуахуачи.
Возможно, трудности с дедукцией у LLM связаны с тем, что при дедуктивном рассуждении не имеет значения истинны или ложны предпосылки: дедукция делает вывод только о правильности самого рассуждения. Видимо, LLM пока «мыслит» слишком конкретно и предстоит большая работа, чтобы такие модели научить дедукции.