Технология распознавания токсичных комментариев в социальных сетях с помощью ИИ — значительное достижение в области машинного обучения и обработки естественного языка. Об этом в разговоре с «ТехИнсайдером» рассказал основатель Expert-ai.ru Леонид Гольдберг.
ИИ научился распознавать токсичные комментарии в сети: мнение эксперта
Исследователи из Австралии и Бангладеша изобрели новую модель искусственного интеллекта — она умеет выявлять токсичные комментарии в сети с точностью 87%. Подробнее — Леонид Гольдберг.
Freepik
«Эта технология основана на алгоритмах машинного обучения, которые обучаются на больших наборах данных, содержащих комментарии из социальных сетей. Команда ученых из Австралии и Бангладеш протестировала три алгоритма на комментариях на английском и бенгальском языках, достигнув максимальной точности 87,6% в распознавании токсичных сообщений. Такие модели могут выявлять различные негативные окраски текста, такие как угрозы, непристойности и оскорбления», — отметил эксперт.
По словам Гольдберга, работа технологии включает в себя несколько этапов. Первое — сбор данных: создание набора данных из комментариев, помеченных как токсичные или нетоксичные.
Дальше алгоритмы машинного обучения обучаются на этих данных, чтобы научиться распознавать закономерности и признаки токсичности.
После модели тестируются на новых, незнакомых данных, чтобы оценить их точность и эффективность.
По словам специалиста, потенциал применения этой технологии очень широк. Во-первых, модели могут быть интегрированы в социальные сети для автоматического выявления и фильтрации токсичных комментариев, что делает онлайн-общение безопаснее и более уважительным.
Во-вторых, компании могут использовать эту технологию для мониторинга и анализа пользовательского контента, чтобы оперативно реагировать на негативные сообщения.
В-третьих, технология может помочь в борьбе с кибербуллингом, выявляя и блокируя агрессивные сообщения.
Специалист напомнил, что, например, российская социальная сеть «Одноклассники» уже внедрила подобную технологию для снижения уровня токсичности в комментариях.
«Вероятнее всего, что крупные социальные сети или компании, специализирующиеся на анализе и модерации контента, такие как Meta или Google, могут заинтересоваться в приобретении или интеграции этой технологии для улучшения своих платформ. Кроме того, компании, специализирующиеся на SMM и анализе контента», — заключил Гольдберг.