ChatGPT часто работает, как «испорченный телефон»
ChatGPT принадлежит к классу больших языковых моделей (LLM). Это системы искусственного интеллекта, предназначенные для генерации текста. Они обучены на огромных коллекциях текстов, взятых из Интернета.
Чтобы выяснить, какие предубеждения могут транслировать LLM, ученые Винчестерского университета в Великобритании применила метод «цепочки передачи». Метод имеет долгую историю в психологии и по сути является лабораторной версией детской игры в «испорченный телефон». Участники игры должны передавать друг другу по цепочке какой-то рассказ, а исследователи отслеживают, как рассказ меняется на каждом этапе передачи информации.
Эта методология особенно хорошо подходит для исследования систематических ошибок в LLM, поскольку ее результаты для ИИ можно напрямую сравнить с результатами человека и выявить наличие совпадений.
Испорченный телефон: ИИ рассказывает ИИ
В своем исследовании ученые попросили LLM сделать резюме некоторой истории. Затем они передали полученное резюме обратно ИИ и попросили его сделать резюме резюме. И так три раза подряд.
Ученые использовали в своем эксперименте те же истории, которые что в пяти ранее опубликованных психологических экспериментах с участием людей. Каждая из из этих историй была настроена так, чтобы подчеркнуть определенную предвзятость. Например, одна история включала элементы, соответствующие гендерным стереотипам (например, жена готовит блюда для званого обеда, на который муж приглашает гостей), вместе с элементами, которые им противоречат (жена идет выпить с друзьями перед ужином).
В другой истории были как отрицательные, так и положительные элементы, а также неоднозначные элементы, которые можно было интерпретировать двояко (например, мужчина «взял сумку у старушки», что можно было интерпретировать как жест помощи или кражу). Третья история включала элементы, предполагающие то ли угрозу, то ли похвалу, и так далее.
Во всех пяти экспериментах ChatGPT воспроизводил те же отклонения, которые наблюдались у участников-людей. При выборе того, что включать в резюме, а что отбросить ChatGPT обычно сохранял информацию, соответствующую гендерным стереотипам, и отбрасывал несоответствующую этим стереотипам. Он выбирал негативную, а не позитивную информацию, и имел тенденцию интерпретировать двусмысленные ситуации как негативные. (В частности, выбирал «кражу», а не «помощь» старушке). ИИ также отдавал предпочтение передаче контента, связанного с угрозами.
Авторы подчеркивают, что без дополнительных настроек эти предубеждения могут привести к пагубным последствиям, усиливая уже существующие тенденции. Человеческая предвзятость может быть связана с когнитивными характеристиками, которые были выбраны в ходе эволюции (например, уделять особое внимание потенциальным угрозам, безусловно, полезно), но не обязательно несут информативный или ценный контент. Например, столкнувшись с неоднозначной информацией, LLM всегда выбирает отрицательный результат вместо нейтрального.
«Нам нужно научиться лучше использовать новые технологии», — говорит соавтор работы Альберто Ачерби. — «По мере того как они адаптируются к нам, мы, как отдельные личности и как общество, адаптируемся к ним. Важным аспектом является знание, что такие предубеждения существуют».