Что известно ИИ о вашей компании. Новый софт может это выяснить
Разработанное в Университете Суррея программное обеспечение может быть включено в протоколы безопасности компании. Новый софт помогает понять, не узнал ли ИИ слишком много, не получил ли он доступ к конфиденциальным данным.
Программное обеспечение также способно определить, обнаружил ли ИИ уязвимости в программном коде, и способен ли он их использовать. Например, в контексте онлайн-игр софт может определить, научился ли ИИ всегда выигрывать в онлайн-покер, используя ошибки в коде.
Доктор Фортунат Раджаона, ведущий автор работы говорит: «Во многих приложениях системы ИИ взаимодействуют и друг с другом, и с людьми, например, беспилотные автомобили на шоссе или больничные роботы в палате. Выяснение того, что знает интеллектуальная система, является трудной проблемой. На поиск рабочего решения у нас ушли годы».
Новый софт поможет держать ИИ под контролем
Новое программное обеспечение может определить, что ИИ может узнать в результате взаимодействия с сотрудниками и софтом компании, достаточно ли у него знаний, чтобы обеспечить успешное сотрудничество, и не слишком ли много знаний, которые нарушат конфиденциальность. Благодаря возможности проверять, чему научился ИИ, компания может его спокойно и безопасно использовать.
Профессор Адриан Хилтон, директор Института ИИ Университета Суррея, говорит: «За последние несколько месяцев произошел всплеск общественного и промышленного интереса к генеративным моделям ИИ. Он в основном вызван достижениями в области больших языковых моделей, таких как ChatGPT. Создание инструментов, способных проверять эффективность генеративного ИИ, необходимо для обеспечения его безопасного и ответственного применения. Новое исследование является важным шагом на пути к сохранению конфиденциальности и целостности наборов данных, используемых для обучения».
О пользе философии: при разработке софта, который оценивает знания ИИ, была использована эпистемическая логика Крипке, созданная во второй половине XX века для описания чисто философских проблем