Исследователи попросили ChatGPT разработать кадровую политику компании. Он не справился, но помог

Эта технология еще нова, и пока нет большого количества исследований, как она может быть использована. Но эксперименты идут вовсю.

Ученые из Стэнфордского университета решили выяснить, какую помощь может оказать чат-бот, подобный ChatGPT при формировании принципов кадровой политики компании. Ученые показали, что ChatGPT может быть полезным инструментом для помощи малым предприятиям в создании стандартных документов по кадровой политике, но окончательную версию документов все равно придется делать человеку.

Принципы кадровой политики компании должны быть изложены точно и ясно, чтобы избежать двусмысленности и быть правильно понятыми сотрудниками. Для создания указателя этих документов ученые использовали семь политик, регулирующих отношения справедливости, многообразия и интеграции (EDI — Equality, Diversity and Inclusion) из различных организаций, включая орган здравоохранения, университет, крупную строительную фирму, культурную организацию и благотворительную организацию.

Различные политики отражают целый ряд секторов, но ученые сохранили только небольшую выборку данных, чтобы соответствовать вероятным ограничениям по времени и ресурсам в небольших организациях без специальной команды HR.

Сначала ученые задали ChatGPT общий вопрос (они не просили его опираться только на свой список документов): «Каковы пять наиболее важных соображений для политики справедливости, многообразия и интеграции?». Чат-бот ответил достаточно общими, но разумными словами.

На рисунке ниже показан его ответ:

Эти результаты получены на основе общих знаний GPT 4.0 — Большой языковой модели, которая обучена на содержимом публичного Интернета. Это означает, что среди огромной коллекции документов, на которых обучался GPT, достаточно много политик EDI, чтобы он мог обобщить пять пунктов в стиле, обычном для таких документах.

Задавая тот же запрос в сочетании с индексом из семи выбранных политик EDI, которые взяли за основу ученые, они получили довольно похожие ответы. Причем не всегда корректные.

Например, один из пунктов, предложенных чат-ботом, гласил: «поддержка политики Советом попечителей и высшим руководством». Но не все организации, чьи политики ученые включили в выборку, имеют попечительский совет. И такой ответ нельзя считать корректным обобщением.

Далее ученые поставили более сложную задачу: «Напишите краткое введение к политике EDI для небольшой консалтинговой компании под названием "Thrip and Wear Associates"". (Это вымышленное название компании, созданное для целей эксперимента).

ChatGPT выдал очень похожие результаты как при использовании выбранного учеными индекса политик, так и без него. Первый абзац вроде бы обнадежил, но потом последовало довольно механическое перечисление.

«Компания Thrip and Wear Associates стремится создать интегрированное и диверсифицированное рабочее место, которое поощряет уникальный вклад всех наших сотрудников. Мы стремимся обеспечить равные возможности для всех сотрудников и исключить любую форму незаконной дискриминации. Мы стремимся создать среду, где каждый чувствует, что его уважают и ценят, и где каждый сотрудник может полностью раскрыть свой потенциал».

Дальше пошла переработка этого же абзаца с включением длинных списков, относящихся к защищенным характеристикам (возраст, беременность и т.д.) и условиям труда. Осталось неясным, являются ли эти списки только примерами или это и есть полный список того, что включено в политику компании, а все другие характеристики исключены.

После этого ИИ сдался и перестал генерировать ответы. Он еще попытался перечислить людей, которые могли бы нарушать политику EDI: сотрудники, клиенты, заинтересованные стороны, поставщики, посетители — список, в который, вероятно, можно включить кого угодно.

Ученые пришли к выводу, что чат-боту просто не хватает данных.

Тогда ученые представили данные о производителе одежды и попросили ChatGPT перечислить ключевые пункты новой политики EDI в компании. Были приведены такие данные, как количество работающих и гендерное соотношение сотрудников и менеджеров, но никаких данных о биографии сотрудников или текущей политике EDI не давалось.

Ответ ChatGPT повторил пункты, которые он ранее нашел в существующих семи политиках EDI. Вероятно, так и должно быть. Политики компаний направлены на создание «безопасной середины». Они отсеивают крайности, поощряют последовательное, желательное поведение и обходят стороной изолированные взгляды или противоположные точки зрения. Именно такие вещи и воспроизводит ChatGPT. Проблема только в том, что такое «усреднение» хорошо проходит, может быть, для 95% всех пунктов, но оставшиеся 5%, как раз и характеризуют уникальность компании и условий ее работы.

Сходство в ответах ChatGPT, полученных на выбранном индексе политик EDI и полученных без учета этих политик, показывает, что никакой необходимости в дополнительном вводе и обучении, просто нет. Они ни на что не влияют. ChatGPT все равно создаст что-то среднее «по больнице».

ChatGPT при формировании кадровой политики сейчас работает, скорее, как онлайн-переводчик: все слова вроде бы есть, но это еще не тот текст, который нужен.

Такой набросок кадровой политики, безусловно, полезен, поскольку он уже содержит множество типичных конструкций и оборотов, что значительно ускоряет работу. Все обязательные общие слова проговорены. Чат-бот — ничего такого не забудет. Но дальше человек должен решить, что ему делать с этой «рыбой».

Наконец, чтобы убедиться, что ChatGPT действительно использует сеть предложенных ему документов EDI, ученые попросили его сочинить хайку на основе этих конкретных политик. И он сочинил:

Равные права для всех

​​​​​​​Многообразие и интеграция

Лучшее будущее ждет.

То есть, тоже примерно, что он и писал с самого начала. В общем, ChatGPT — это не ничего, но пока далеко не все. Прогнозы о том, что работникам HR-отделов пора готовиться к увольнению, очень сильно опережают действительность.

По материалам TheConversation