Как шутит ИИ, и почему его шутки не нравятся стендап-комикам

Группа ученых из проекта Google DeepMind исследовала умение больших лингвистических моделей (LLM) придумывать смешные истории и шутить. Ученые попросили профессиональных стендап-комиков использовать LLM для создания комедийной программы, а потом опросили участников эксперимента насколько полезным оказался этот опыт.
Как шутит ИИ, и почему его шутки не нравятся стендап-комикам
Unsplash
Юмор — это творчество свободных людей. Чтобы ИИ научился смешить, с него нужно снять фильтры, но ведь тогда он непременно кого-нибудь обидит.

Стендап-комики, как правило, пишут свои программы долго. Ищут слова. Пробуют впечатление на небольшой аудитории. И только потом выходят на публичную площадку и весело и легко шутят. И шутки бывают совсем небезобидные.

РЕКЛАМА – ПРОДОЛЖЕНИЕ НИЖЕ

В ходе этой новой работы команда DeepMind задалась вопросом, способны ли LLM придумывать шутки и даже целые выступления. Ученые пригласили 20 профессиональных стендап-комиков, знакомых с ИИ-моделями, чтобы они попробовали написать с помощью LLM выступление и предложили артистам оценить результаты модели.

ИИ шутит
ИИ шутит
DALLE-3
РЕКЛАМА – ПРОДОЛЖЕНИЕ НИЖЕ

Оказалось, что LLM быстро придумывает шутки; вот только эти шутки совсем несмешные. Большинство из них, это некоторые нейтральные общие высказывания, и лишь немногие содержали что-то вроде сюрприза.

РЕКЛАМА – ПРОДОЛЖЕНИЕ НИЖЕ

Почему у LLM получается несмешно

Слева: Оценка программ LLM, настроенных на обучение, как инструмента поддержки творческой работы при написании комедийного представления с использованием шкалы Лайкерта; каждая строка соответствует одному вопросу. Правые прямоугольники показывают разбивку индекса поддержки креативности соответственно. 
Слева: Оценка программ LLM, настроенных на обучение, как инструмента поддержки творческой работы при написании комедийного представления с использованием шкалы Лайкерта; каждая строка соответствует одному вопросу. Правые прямоугольники показывают разбивку индекса поддержки креативности соответственно.
arXiv (2024). DOI: 10.48550/arxiv.2405.20956

В целом стендап-комики сошлись на том, что шуткам, созданным с помощью ИИ, не хватает остроты, которая необходима для того, чтобы шутка была смешной. Многие охарактеризовали результаты LLM как пресноватые. Но некоторые из артистов нашли LLM полезным инструментом для создания программы, которую можно использовать как базовую структуру и вокруг нее выстраивать свои собственные спектакли.

Исследовательская группа считает, что полученные результаты не удивительны, учитывая, что создатели LLM используют нейтрализующие фильтры, чтобы не допустить создания оскорбительных или резких суждений ИИ-моделей.