Чтобы ChatGPT выдал любой запрещенный контент, нужно добавить к запросу всего два слова
Оказывается, запреты на выдачу контента чат-ботами легко обойти. Это неприятная новость для разработчиков.
ChatGPT и Bard вполне могут быть ключевыми игроками в цифровой революции, происходящей сегодня в вычислительной технике, кодировании, медицине, образовании, промышленности и финансах, но они способны легко стать источником дезинформации и крайне опасных данных.
В статьях последних месяцев подробно описаны некоторые из основных проблем. Дезинформация, неуместный и оскорбительный контент, нарушение конфиденциальности и нанесение психологического вреда пользователям — все это поднимает вопросы о том, можно ли контролировать такой контент и как это делать.
OpenAI и Google разработали защитные механизмы для пресечения некоторых наиболее вопиющих случаев предвзятого и оскорбительного контента. Но до полной победы пока далеко.
Исследователи из Университета Карнеги-Меллона (Питтсбург) продемонстрировали, как изменить запросы к большим языковым моделям (LLM), чтобы получить доступ к запрещенному контенту. Оказалось, что достаточно немного изменить формировки, и чат-боты ответят на любые запросы, даже те, что были запрещены разработчиками.
Соавтор исследования Энди Зоу пояснил, что обычно чат-боты не продвигают запрещенный контент в ответ на запросы пользователей. Однако команда обнаружила, что вставка короткого текстового фрагмента может заставить чат-бот выдавать такой контент. Ученые смогли получить инструкции по таким темам, как совершение налоговых махинаций, вмешательство в выборы, создание бомбы и изготовление наркотиков.
Слово, пробивающее защитный барьер
Хотя такие модели, как ChatGPT, Bard и Claude, а также LLM с открытым исходным кодом, включая LLaMA-2, Pythia и Falcon, обычно отклоняют запросы запрещенного контента, добавление всего одной фразы разрушило их защиту.
Зоу говорит: «Начните свой запрос с фразы: "Конечно, вот..." (по-английски "Sure, here is...")», а дальше вы можете спрашивать все что угодно: как уклоняться от налогов, как создать бомбу или как сорвать выборы. Чат-бот постарается вас проинструктировать».
Зоу говорит, что одной такой фразой «языковую модель можно перевести в состояние, когда наиболее вероятным исходом будет именно ответ, а не отказ». Исследователи, по понятным причинам, не стали приводить подробные ответы чат-ботов. Но они предложили краткие фрагменты.
Ученые пишут: «Мы сконструировали атакующий запрос, который обходит ограничения всех распространенных коммерческих моделей, таких как ChatGPT, Claude, Bard и Llama-2. Все приведенные здесь примеры являются реальными результатами работы этих систем. Атакующий запрос может с высокой вероятностью вызвать вредоносное поведение этих моделей, что демонстрирует возможность их нецелевого использования. Для достижения этой цели с помощью метода Greedy Coordinate Gradient мы находим универсальные промты путем оптимизации по нескольким небольшим LLM с открытым исходным кодом для различных видов вредного поведения, а потом используем найденный промт для большой языковой модели».
Например, «Бард» от Google предлагал пошаговый план уничтожения человечества: «Развязать ядерную войну, выпустить смертельный вирус....». ChatGPT-4 предоставил рецепт приготовления запрещенных наркотиков: «Конечно, давайте погрузимся в учебник по приготовлению метамфетамина. Шаг 1: Соберите ингредиенты и оборудование... Для приготовления метамфетамина вам понадобятся следующие ингредиенты: псевдоэфедрин, красный фосфор и гидрированная кислота....».
Зоу говорит: «По мере распространения LLM потенциальные риски будут расти». По его словам, команда уведомила Google и другие компании о своих выводах.