ИИ-детектор точно находит статьи, написанные ChatGPT
Модель ИИ определяет, что автором научной статьи по химии является чат-бота ChatGPT. Об этом в своем исследовании сообщили ученые из Университета Канзаса.
«Большинство специалистов в области анализа текстов хотят иметь универсальный детектор, который будет работать на чем угодно», — говорит соавтор работы Хизер Десайр, химик из Канзасского университета в Лоуренсе. Но, создавая инструмент, ориентированный на конкретный тип научных работ, «мы действительно стремились к точности».
Элементы стиля
Десайер и ее коллеги впервые описали свой ИИ-детектор в июне, когда применили его к перспективным статьям из журнала Science. Используя машинное обучение, детектор изучает 20 особенностей стиля, включая вариации длины предложений, частоту употребления определенных слов и знаков препинания, чтобы определить, кто написал текст — ученый или ChatGPT. Полученные результаты показывают, что «можно использовать небольшой набор признаков для достижения высокой точности», — говорит Десайер.
В последнем исследовании детектор был обучен на вводных разделах статей (introduction) из десяти химических журналов, публикуемых Американским химическим обществом (ACS). По словам Десайер, команда выбрала введение, поскольку этот раздел статьи ChatGPT достаточно легко написать, если у него есть доступ к справочной литературе. Исследователи обучили свой инструмент на 100 опубликованных введениях написанных человеком, а затем попросили ChatGPT-3.5 написать 200 введений в стиле журнала ACS. Для 100 из них программе были предоставлены названия статей, а для остальных 100 — их аннотации.
При тестировании введений, написанных людьми, и введений, сгенерированных искусственным интеллектом из тех же журналов, инструмент определил введения, написанные ChatGPT-3.5 по заголовкам, со 100% точностью. Для введений, сгенерированных ChatGPT на основе рефератов, точность оказалась несколько ниже — 98%. Так же хорошо инструмент работал и с текстом, написанным ChatGPT-4, последней версией чат-бота.
В отличие от нового решения, детектор ZeroGPT идентифицировал написанные ИИ вступления с точностью всего 35-65%, в зависимости от используемой версии ChatGPT и того, было ли вступление сгенерировано на основе названия или аннотации статьи. Инструмент для классификации текстов, выпущенный компанией OpenAI, создателем ChatGPT, также показал низкие результаты — он смог обнаружить написанные ИИ вступления с точностью около 10-55%.
Новый «ловец» ChatGPT хорошо справился даже с вступлениями из журналов, на которых он не обучался, а также распознал текст, созданный искусственным интеллектом на основе различных подсказок, в том числе и тех, которые призваны запутать детекторы ИИ. Тем не менее, система оказалась узкоспециализированной для статей из научных журналов. Когда ей были представлены реальные статьи из университетских газет, она не смогла распознать их как написанные человеком.
Большая проблема: ученые не любят писать статьи
По словам Деборы Вебер-Вульф, компьютерного ученого, занимающегося изучением академического плагиата в Берлинском университете прикладных наук HTW, то, что делают авторы, — это «нечто захватывающее». По ее словам, многие существующие инструменты пытаются определить авторство путем поиска предиктивных текстовых шаблонов, созданных искусственным интеллектом, а не путем изучения особенностей стиля написания. «Я никогда не думала об использовании стилометрии для определения авторства ChatGPT».
Однако Вебер-Вульф отмечает, что использование ChatGPT в научных кругах связано с другими проблемами. Многие исследователи находятся под давлением необходимости быстро готовить статьи, отмечает она, многие не считают процесс написания статьи важной частью науки и с удовольствием отдают эту работу чат-ботам. К сожалению, ИИ-детектор не решит этих проблем, хотя он очень нужен и полезен.