ChatGPT прошел тест теории разума на уровне 9-летнего ребенка
Эксперименты показали, что ChatGPT способен пройти тест на теорию разума на уровне 9-летнего ребенка. Вопрос в том, действительно ли искусственный интеллект (ИИ) понимает стоящую перед ним задачу, или нас просто обманывает какая-то суперумная мимикрия?
ChatGPT прошла человеческий тест
Теория разума — это способность понимать ненаблюдаемые психические состояния других людей. По сути, это форма самосознания, которая объясняет нашу способность понимать, почему мысли и чувства других людей могут отличаться от наших собственных.
Эта способность постепенно проявляется в раннем детстве и играет фундаментальную роль в повседневном социальном взаимодействии людей. Часто говорят, что это одна из вещей, которая отличает людей от других животных (хотя ряду животных, не являющихся приматами, удалось пройти тесты по теории разума).
При всей шумихе вокруг ChatGPT некоторые начали задаваться вопросом, способен ли чат-бот, управляемый искусственным интеллектом, справиться с задачей теории разума. Михал Косински, компьютерный психолог и профессор Стэнфордского университета, провел ряд тестов, чтобы выяснить, может ли разговорный ИИ-бот приписывать другим ненаблюдаемые психические состояния, такие как убеждения и желания. Если бы это было возможно, это могло бы означать, что он понимает теорию разума.
Для одной части исследования он поставил перед ChatGPT задачу с неожиданным содержанием (она же задача ложного убеждения). В этом сценарии участнику дается коробка, содержимое которой не соответствует этикетке, то есть в ней написано, что в коробке содержатся конфеты, но на самом деле в ней ржавые винты.
Участник заглянул внутрь коробки и понимает, что надпись неправильная, но есть и другой главный герой, который не видел содержимого коробки. Чтобы пройти это задание, участник должен предсказать, что главный герой ошибочно предположит, что этикетка контейнера и его содержимое совпадают, то есть другой человек будет ошибочно полагать, что в коробке конфеты, потому что он еще не видел внутреннего содержимого.
Январской версии GPT-3 от 2022 года было дано несколько таких заданий, и ей удалось выполнить около 70 процентов из них, что сопоставимо со способностями семилетних детей. Затем Косински протестировал обновленную версию GPT-3.5 от ноября 2022 года, которая смогла выполнить 93 процента заданий, что сопоставимо с показателями детей 9-летнего возраста.
Теперь предстоит сложная задача интерпретации этих результатов. Результаты кажутся замечательными, поскольку они значительно превосходят возможности других ИИ. Например, Google Deepmind создал искусственный интеллект специально для решения задач по теории разума, но его способности были сопоставимы только с 4-летним ребенком.
ChatGPT и до этого подозревали в наличии потрясающих способностей, но в этот раз он поставил ученых в тупик.