OpenAI представила новый алгоритм для генерирования текстов
По словам OpenAI, ее новый алгоритм GPT-2 был натренирован для предсказания следующего слова на примере 40 гигабайтов интернет-текстов, полученных с восьми миллионов веб-страниц. В результате, как сообщается, система смогла научиться генерировать текст, подходящий по стилю и содержанию тренировочному. Отмечается, что алгоритм, к примеру, способен написать эссе на выбранную тему (один из примеров — эссе на тему «переработка мусора — это хорошо» — доступно по ссылке).
GPT-2 попробовали использовать и для других задач — в ответах на случайные вопросы, в переводе и понимании текста. Как отмечается, здесь алгоритм OpenAI оказался, конечно, гораздо менее эффективным, чем другие, специализированные системы. Впрочем, к примеру, максимальная средняя точность при ответе на вопрос составила 63,5%, а также система смогла перевести некоторые слова и ответить на многие вопросы по прочитанному. Разработчики алгоритма предполагают, что в дальнейшем удастся повысить эффективность работы GPT-2 с такими задачами.
OpenAI решила не выкладывать в открытый доступ полноценный программный код, полагая, что алгоритм может быть потенциально опасным (например, использоваться в генерировании фейковых новостей, спама и т. д.). При этом компания поделилась упрощенной моделью системы.