ChatGPT превзошел большинство людей в оригинальности мышления
Можно по-разному относиться к самой идее проверять нестандартность мышления стандартными тестами. Но результат все равно впечатляет.
Исследование, проведенное Университетом Монтаны и его партнерами, показало, что ChatGPT 4.0 может сравниться с 1% наиболее творческих людей в прохождении стандартного теста на креативность.
Сравнение проводилось под руководством доктора Эрика Гузика из Колледжа бизнеса Университета Монтаны. Он и его партнеры использовали Тесты творческого мышления Торренса (TTCT), хорошо известный инструмент, который уже несколько десятилетий используется для оценки творческих способностей человека.
Исследователи представили восемь ответов, сгенерированных ChatGPT, приложением, работающим на движке искусственного интеллекта GPT-4. Они также представили ответы контрольной группы из 24 студентов Университета Монтаны, посещающих занятия Гузика по предпринимательству и финансам. Эти результаты сравнивались с результатами 2700 студентов колледжей по всей Америке, которые проходили TTCT в 2016 году. Все представленные материалы оценивались службой тестирования Scholastic Testing Service, которая не знала, что в процессе участвует искусственный интеллект.
Результаты позволили отнести ChatGPT к элитной группе по креативности. В тесте оценивались: Беглость (общее количество идей, соответствующих решаемой задаче), Гибкость (количество различных категорий ответов), Оригинальность (статистическая редкость ответов).
Чат-бот вошел в самый высокий процент тестируемых по Беглости и по Оригинальности, и опустился до 97% по Гибкости. ChatGTP превзошел подавляющее большинство студентов колледжей по всей Америке.
Тест на креативность
TTCT является защищенным запатентованным материалом, поэтому ChatGPT не может заранее получить информацию о вопросах, которые ему зададут. А вопросы бывают действительно непростые.
Что думает о своем результате ChatGPT
Ученые долго тестировали чат-бот и ожидали, что ChatGPT будет хорош в создании большого количества идей (Беглость). Но даже они были удивлены таким высоким результатом в тесте на Оригинальность. Казалось, способность генерировать свежие идеи является отличительной чертой человеческого воображения.
Гузик подчеркнул и необыкновенно мощный прогресс ChatGPT: «Предыдущее исследовании проходило год назад, в нем участвовал GPT-3. Та версия не показала результатов, сравнимых с результатами людей в заданиях требующих оригинального мышления. А GPT-4, который появился в марте этого года, вошел в верхний 1% среди участников-людей».
Гузик ожидает, что с ускорением развития ИИ станет ключевым инструментом в мире бизнеса и новым значительным фактором, способствующим его развитию.
Ученые спросили ChatGPT, как он оценивает свои результаты в тесте TTCT. Гузик считает ответ чат-бота достойным внимания: «ChatGPT сказал нам, что мы, возможно, не до конца понимаем, что такое творческие способности человека. Он также предположил, что нам понадобятся более сложные инструменты для оценки творческих способностей и методы, которые позволят различать идеи, генерируемые человеком и ИИ».