ChatGPT так хорошо пишет научные рефераты, что эксперты не отличают их от написанных человеком. Чем это грозит
Может ли новый и чрезвычайно популярный чат-бот ChatGPT убедительно создавать научные рефераты, которые заставляют экспертов думать, что перед ними реальные исследования ученых?
Ответить на этот вопрос попытались ученые Чикагского университета и Северо-Западного университета.
Оказалось, что ChatGPT действительно может написать реферат, который очень трудно отличить от работы человека. Таковы результаты эксперимента.
Экспертам раздали по 25 рефератов. Их предупредили, что среди рефератов есть работы реальных ученых, а есть сгенерированные ChatGPT. Экспертам предложили поставить оценки рефератам по двух бальной системе: человек или машина.
Несмотря на то, что эксперты были подготовлены, что среди рефератов, могут встретиться работы машины, они ошибались. Работы машины были выявлены только в 68% случаев. То есть 32% — почти каждая третья работа машины - было выполнено не хуже работы человека. Эксперты также ошибочно «отдали» машине 14% рефератов, сделанных людьми.
Чем это грозит
Доктор Кэтрин Гао, ведущий автор работы, говорит, что «машинные» рефераты могут повредить науке: «Это вызывает беспокойство, потому что ChatGPT действительно может использоваться "фабриками научных статей".
«Фабрики статей» — это незаконные организации, которые производят имитации научных работ и их продают недобросовестным ученым.
Гао опасается, что легкость и скорость, с которой ChatGPT создает реалистичные и убедительные рефераты, может увеличить производительность таких фабрик, и «машинные» статьи начнут обильно появляться в журналах и в материалах научных конференций.
Кто лучше всех понимает ИИ? Другой ИИ
«Рефераты, созданные ChatGPT, оказались очень убедительными, — говорит Гао, — ChatGPT даже знает, насколько большой должна быть когорта пациентов в каждом случае». Так в исследовании гипертонии ChatGPT включал в когорту в десятки тысяч пациентов, в то время как в исследовании обезьяньей оспы «исследовалось» гораздо меньшее число участников.
«Наши рецензенты отметили, что было удивительно сложно отличить настоящие рефераты от поддельных», — сказал Гао.
Исследование показало, что «машинные» рефераты нормально прошли проверку на плагиат — объем оригинального текста систему проверки вполне устроил.
Единственным инструментом, который надежно опознал, что текст создан машиной, оказался разработанный компанией OpenAI (той же что разработала чат-вот) - GPT-2 Output Detector. Он бесплатно доступен онлайн и и он действительно работает.
«Мы обнаружили, что GPT-2 Output Detector надежно обнаруживает работу ChatGPT, и предлагаем включить его в научный редакционный процесс для проверки». — говорит Гао.
ChatGPT также можно использовать во благо
Но ChatGPT можно использовать и во благо, считает соавтор исследования Юань Луо: «Языковые модели ИИ, такие как ChatGPT, могут помочь автоматизировать процесс написания научных работ, взяв на себя рутинную подготовку материалов, на которые исследователи вынуждены сегодня тратить много времени. Результаты нашей работы показали, что это, вероятно, выполнимо для медицины, но нам необходимо преодолеть определенные этические и практические проблемы».
Например, до сих пор непонятно, считать ли ИИ соавтором работы и как правильно указывать его в выходных данных статьи.
Если человек не может определить, что перед ним — работа другого человека или ИИ, с этим справится другой ИИ. Пока это работает