Разработанное в Университете Суррея программное обеспечение может быть включено в протоколы безопасности компании. Новый софт помогает понять, не узнал ли ИИ слишком много, не получил ли он доступ к конфиденциальным данным.
Что известно ИИ о вашей компании. Новый софт может это выяснить
В связи с растущим интересом к системам генеративного искусственного интеллекта (ИИ) во всем мире исследователи из Университета Суррея создали программное обеспечение, способное проверить, что система ИИ может узнать из цифровой базы данных организации, и нет ли утечки конфиденциальной информации.
Unsplash.com
О пользе философии: при разработке софта, который оценивает знания ИИ, была использована эпистемическая логика Крипке, созданная во второй половине XX века для описания чисто философских проблем
Программное обеспечение также способно определить, обнаружил ли ИИ уязвимости в программном коде, и способен ли он их использовать. Например, в контексте онлайн-игр софт может определить, научился ли ИИ всегда выигрывать в онлайн-покер, используя ошибки в коде.
Доктор Фортунат Раджаона, ведущий автор работы говорит: «Во многих приложениях системы ИИ взаимодействуют и друг с другом, и с людьми, например, беспилотные автомобили на шоссе или больничные роботы в палате. Выяснение того, что знает интеллектуальная система, является трудной проблемой. На поиск рабочего решения у нас ушли годы».
Новый софт поможет держать ИИ под контролем
Новое программное обеспечение может определить, что ИИ может узнать в результате взаимодействия с сотрудниками и софтом компании, достаточно ли у него знаний, чтобы обеспечить успешное сотрудничество, и не слишком ли много знаний, которые нарушат конфиденциальность. Благодаря возможности проверять, чему научился ИИ, компания может его спокойно и безопасно использовать.
Профессор Адриан Хилтон, директор Института ИИ Университета Суррея, говорит: «За последние несколько месяцев произошел всплеск общественного и промышленного интереса к генеративным моделям ИИ. Он в основном вызван достижениями в области больших языковых моделей, таких как ChatGPT. Создание инструментов, способных проверять эффективность генеративного ИИ, необходимо для обеспечения его безопасного и ответственного применения. Новое исследование является важным шагом на пути к сохранению конфиденциальности и целостности наборов данных, используемых для обучения».