ИИ — отличный имитатор, по плохой изобретатель
Согласно выводам, сделанным учеными из Университета Беркли, в то время как дети и взрослые могут решить проблему, найдя новое применение самым повседневным предметам, системам искусственного интеллекта часто не хватает способности по-новому взглянуть на инструменты, которые у них.
Языковые модели искусственного интеллекта, такие как ChatGPT, пассивно обучаются на наборах данных, содержащих миллиарды слов и изображений, созданных людьми. Это позволяет системам ИИ функционировать как «культурная технология», аналогичная письму, которая может обобщать существующие знания, говорит Юнис Ю, соавтор статьи. Но, в отличие от людей, ИИ сложно внедрять инновации в эти готовые идеи.
«Даже маленькие дети могут находить разумные решения, которых модели не видяят», — говорит Ю. — «Вместо того, чтобы рассматривать системы искусственного интеллекта как интеллектуальных агентов, подобных нам самим, нам бы лучше представить их как новую форму библиотеки или поисковой системы. Они эффективно обобщают и передают нам существующую знания».
Имитации и инновации
Ю и Элиза Косой вместе со своим научным руководителем и старшим автором статьи, психологом развития Элисон Гопник, сравнили, чем способности систем ИИ к подражанию и к инновациям отличается от аналогичных способностей детей и взрослых. Они дали 42 детям в возрасте от 3 до 7 лет и 30 взрослым текстовые описания предметов быта.
В первой части эксперимента (имитация) 88% детей и 84% взрослых смогли правильно определить, какие предметы «лучше всего сочетаются» с другими. Например, они соединили компас с линейкой, а не с чайником.
На следующем этапе эксперимента (инновация) 85% детей и 95% взрослых также смогли придумать что-то новое в использовании повседневных предметов. Например, в одном задании участников спросили, как они могут нарисовать круг, если у них нет циркуля. У участников были линейка, чайник с круглым дном, печка, и большинство участников выбрали чайник. Действительно, если его обвести — круг получится.
Когда Ю и его коллеги предоставили те же текстовые описания пяти большим языковым моделям, модели справились с заданием на имитацию не намного хуже людей — с оценками в диапазоне от 59% до 83% (для модели с лучшими показателями). Однако ответы ИИ на инновационную задачу были гораздо менее точными. Эффективные инструменты выбирались где-то в 8% случаев при использовании модели с худшими показателями и в 75% случаев при использовании модели с наиболее эффективными показателями.
«Дети могут придумать совершенно новые способы использования предметов, которые они раньше не видели и не слышали, например, как нарисовать круг, используя чайник», — говорит Ю. — «Большим моделям гораздо сложнее генерировать такие ответы».
Обучения на огромной базе — мало, надо что-то еще
Эти эксперименты показывают, что опоры ИИ на статистическое предсказание языковых моделей недостаточно для открытия новой информации о мире, пишут Ю и его коллеги.
«ИИ может передавать уже известную информацию, но он не является новатором», — говорит Ю. — «Эти модели могут суммировать общепринятые представления, но они не могут расширять, создавать, изменять, отбрасывать, оценивать и улучшать общепринятые представления так, как это может делать даже ребенок».
Однако развитие ИИ все еще находится на начальной стадии, и еще многое предстоит узнать о том, как расширить способность ИИ к обучению, говорит Ю. По ее словам, вдохновляясь активным и мотивированным подходом детей к обучению, можно попробовать разработать новые системы искусственного интеллекта, которые лучше подготовлены к исследованию реального мира и к настоящим открытиям.