Может ли ИИ распознать сарказм или примет издевку за чистую монету
Большие языковые модели (LLM) — это алгоритмы глубокого обучения, которые могут анализировать подсказки на различных естественных языках и в ответ генерировать реалистичные ответы. Этот многообещающий класс моделей обработки естественного языка (NLP — Natural Language Processing) становится все более популярным после выпуска платформы Open AI ChatGPT.
Поскольку эти модели становятся все более распространенными, оценка их возможностей и ограничений имеет первостепенное значение. Эти оценки могут в конечном итоге выявить ситуации, в которых LLM наиболее или наименее полезны, и определить способы их улучшения.
Исследователь из Нью-Йоркского университета, Джулианн Чжоу поставила перед собой задачу, оценить работу двух LLM, специально обученных распознавать человеческий сарказм.
Сарказм определялся как высказывание, подлинный смысл которого прямо противоположен буквальному. Человек покачивает головой и говорит: «Ну вы молодцы, вы все тут молодцы». И «молодцы» прекрасно понимают, что никакая это не похвала, а довольно ядовитая издевка.
«В области смыслового анализа NLP умение правильно распознавать сарказм необходимо для понимания истинного мнения человека», — пишет Чжоу в своей статье.
Сарказм против похвалы
Анализ настроений — это область исследований, которая включает в себя анализ текстов, обычно публикуемых в социальных сетях, чтобы получить представление о том, как люди относятся к определенной теме или продукту. Сегодня многие компании инвестируют в эту область, поскольку это помогает понять, как клиенты относятся к их продуктам. Для этого анализа очень важно уметь отделять саркастические замечания от настоящей похвалы.
В настоящее время существует несколько моделей NLP, которые могут обрабатывать тексты и определять их основной эмоциональный тон, или, другими словами помогают, установить, какие эмоции выражает текст — положительные, отрицательные или нейтральные. Однако многие обзоры и комментарии, размещенные в Интернете, содержат иронию и сарказм. Модели часто ошибаются и классифицирует такие комментарии как «положительные», хотя на самом деле высказывания выражают отрицательные эмоции.
Поэтому сегодня разрабатываются модели, которые смогут обнаружить сарказм в текстах. Две из наиболее многообещающих модели — CASCADE и RCNN-RoBERTa, были представлены еще в 2018 году разными исследовательскими группами.
Чжоу провела серию тестов, направленных на оценку способности моделей CASCADE и RCNN-RoBERTa обнаруживать сарказм в комментариях, размещенных на известной онлайн-платформе Reddit. Способность этих двух моделей обнаруживать сарказм в образцах текстов сравнивалась со средней точностью человека при выполнении той же задачи и с точностью нескольких базовых моделей для анализа текстов, не специализированных на сарказме.
Очень улучшает распознавание сарказма контекст — особенно описание самого автора текста, которое формируется из других его же текстов. Лучшей среди всех моделей оказалась RoBERTa. Среднему человеку она уступила, но сравнительно немного.