Google Deepmind: ИИ обладает способностью к самопознанию, нужно только правильно его спросить
Стремясь расширить возможности рассуждения больших языковых моделей (LLM), исследователи из Google Deepmind и Университета Южной Калифорнии предложили новую систему промптов, которую ученые назвали «self-discover» или «самопознание». Новый метод способен улучшить производительность известных моделей, включая GPT-4 от OpenAI и PaLM 2 от Google.
«Самопознание существенно повышает производительность GPT-4 и PaLM 2 в сложных тестах, таких как BigBench-Hard и Math (решение математических задач), на 32% по сравнению с пошаговым решением», — пишут исследователи. Новый подход работает использует в 10–40 раз меньше вычислений для вывода, чем существующие аналоги.
Новый метод позволяет LLM самостоятельно находить внутренние структуры рассуждения для решения проблемы. Модели рассматривают несколько атомарных модулей рассуждения, таких как критическое мышление и пошаговое мышление, и объединяют их в новую структуру, которой LLM будет следовать во время работы.
Самопознающие структуры
LLM применяются для решения множества задач, благодаря своей способности следовать инструкциям, рассуждать и генерировать ответы. Чтобы это произошло, модели, основанные на архитектуре-трансформере, используют различные методы формирования промптов (подсказок). Эти промпты во многом следуют когнитивным теориям, описывающим процессы рассуждений человека.
Один процесс — это пошаговое решение step by step. В этом случае мы решаем проблему шаг за шагом. Другой процесс начинается с анализа всей проблемы, декомпозиции задачи на несколько подзадач и установлению общих принципов решения.
Эти методы, особенно пошаговый, вполне работоспособны. Но они работают, делая неявное предварительное предположение о том, как решить данную задачу. По мнению исследователей, этот подход, возможно, не самый лучший, поскольку каждая задача имеет уникальную внутреннюю структуру, и один конкретный метод может решать ее лучше, чем другой.
В ходе нового исследования ученые предложили общую систему подсказок, которая позволяет ИИ самостоятельно обнаружить эту уникальную базовую структуру и выбрать правильную эффективную технику рассуждения.
«Самопознание основано на представлении о том, как люди разрабатывают программу рассуждений для решения задачи. Из набора атомарных модулей рассуждения, описанных на естественном языке, таких как "разбиение на подзадачи" или "критическое мышление" и примеров решенных задач, LLM составляет последовательную структуру рассуждения, подходящую для конкретной задачи (Этап 1), затем пытается решить задачу, используя обнаруженную структуру (Этап 2)», — объясняют исследователи.
Улучшение производительности для известных LLM
Чтобы увидеть, как работает новый подход, исследователи протестировали его на нескольких моделях, включая GPT-4 и PaLM 2-L, на 25 задачах на рассуждение, включая тесты Big-Bench Hard, Thinking for Doing и Math. Было обнаружено, что в 21 из 25 задач «самопознание» превосходит и пошаговое решение и другие методы с приростом производительности до 32%. Исследователи также обнаружили, что новый метод показал лучшие результаты с точки зрения эффективности, поскольку ему потребовалось в 10–40 раз меньше вычислений для решения.
Умение анализировать процесс рассуждений — ключ к успеху ИИ
Хотя система подсказок для самопознания была только что предложена, она потенциально может раздвинуть границы всего поля решаемых с помощью ИИ задач. С ее применением LLM получает возможность решать действительно сложные задачи и, в конечном счете, может продвинуться к главной цели — разработке общего искусственного интеллекта (AGI). Ученые показали, что основанные на самопознании структуры рассуждений применимы к разным семействах моделей и имеют общие черты с моделями человеческого рассуждения.
«Заглядывая в будущее, мы рады больше узнать о структурированных рассуждениях LLM и открыть потенциал для сотрудничества человека и искусственного интеллекта», — пишут ученые.