Разработан метод, который позволяет с вероятностью 99% определить статью, написанную чат-ботом
Дебют чат-бота ChatGPT поразил мир своей способностью создавать тексты и поддерживать разговор, почти как человек. Тем не менее, многие признаки помогают отличить текст ИИ-чатбота от текстов человека, говорится в исследовании Канзасского университета. На основе этих признаков ученые разработали инструмент для идентификации академических научных текстов, созданных ИИ, с точностью более 99%.
«В настоящее время существует несколько довольно очевидных проблем с текстами ИИ», — говорит первый автор исследования Хизер Десайр, профессор Канзасского университета. — «Одна из самых больших проблем заключается в том, что чат-бот собирает текст из многих источников и не проверяет их корректность. Это похоже на игру "Две правды и ложь"".
Обучение модели
Несмотря на то, что в Интернете доступно много ИИ-детекторов текста, которые работают достаточно хорошо, они не были созданы специально для академического письма. (Кстати, практически ко всем эти моделям есть вопросы: они довольно часто ошибаются) Чтобы восполнить этот пробел, команда задалась целью создать инструмент с лучшими характеристиками именно для этой цели.
Они сосредоточились на типе так называемых «перспективных статей», которые представляют собой обзор конкретных исследований, написанных учеными. Это как раз тот случай, когда чат-бот хорошо подходит: здесь нужна не столько глубина погружения в тему, сколько широта кругозора. Команда выбрала 64 перспективных научных направления и создала 128 сгенерированных ChatGPT статей для обучения своего ИИ-детектора.
Так в чем же разница?
В отличие от статей ИИ, у людей статьи имеют более сложную структуру абзацев: количество предложений в абзаце варьируется и длина предложений меняется. Предпочтения в знаках препинания и словарном запасе тоже заметны. Например, ученые тяготеют к таким словам, как «однако» («however»), «но» («but») и «хотя» («although»), в то время как ChatGPT часто использует слова «другие» («others») и «исследователи» («researchers»). Команда составила 20 характеристик, на которые ИИ-детектор должен обращать внимание.
Результаты тестирования
При тестировании модель показала 100-процентную точность по отделению сгенерированных ИИ полных перспективных статей от статей, написанных людьми. При определении отдельных абзацев в статье точность модели составила 92%.
Далее ученые хотят протестировать модель на более обширных наборах данных и на различных типах академической научной литературы. Поскольку чат-боты с искусственным интеллектом развиваются и становятся все более сложными, исследователи также хотят знать, устоит ли их модель.
«Первое, что хотят знать люди, узнав об исследовании, — это "Могу ли я с его помощью определить, действительно ли мои студенты написали свою работу сами?"", — говорит Десайер. Хотя модель очень хорошо умеет отличать ИИ-статьи от статей ученых, Десайер говорит, что она не была разработана для того, чтобы отлавливать сгенерированные ИИ студенческие эссе, а здесь есть серьезные проблемы. Однако Десайер отмечает, что другие ученые могут легко использовать предложенные методы, чтобы построить модели для своих собственных целей.
Проблема идентификации текстов, созданных чат-ботами, очень серьезная. Но пока чат-ботам еще трудно написать «человеческий» текст. Они почти всегда оставляют «характерный след».