Как думает машина: внутри искусственного разума
Если мы не сможем понять, почему системы ИИ совершают какие-то элементарные ошибки, мы не сможем им полностью доверять, а беспилотные машины лучше на дороги и вовсе не выпускать.
Именно поэтому Крис Гримм из университета Брауна вместе с коллегами разработал систему, которая анализирует ИИ и показывает, на какой части изображения тот фокусируется, решая, что конкретно там изображено. Также для алгоритмов, сортирующих документы, система подчеркивает те слова, которые ИИ использует для определения, в какую категорию отнести тот или иной документ.
Для создания этой системы Гримм окружил исследуемый искусственный интеллект вторым, анализирующим ИИ. Этот «анализатор» заменяет часть изображений белым шумом, чтобы увидеть, повлияет ли это на решения изначального софта.
Если такая замена влияла на решение, тогда следовал вывод, чтобы эта область изображения важна для процесса принятия решений. То же принцип относится и к словам. Гримм протестировал технику на ИИ, который сортировал изображения по 10 категориям, включая самолеты, птиц, оленей и лошадей. Система промаркировала те области, которые интересовали ИИ при решении о категоризации. Исследование показало, что ИИ научился сам разбивать объекты на различные элементы, а потом искал каждый из этих элементов в изображении для вынесения решения.
К примеру, при изучении лошадей анализатор Гримма показал, что ИИ сначала уделял внимание ногам, а потом искал голову, при этом учитывал, что та может быть повернута в разных направлениях. В случае с оленями ИИ поступал так же, но особой акцент в поисках делал на рога. И в том, и в другом случае он полностью игнорировал те части изображения, которые, с его точки зрения, не несли информации, помогающей принять решения о категории.
Гримм с коллегами также проанализировал, как ИИ учится играть в видеоигру «Понг». Они выяснили, что система практически не обращала внимания на экран, полностью сосредоточившись на двух узких полосках, где перемещались отражающие мяч пластины. Когда эти пластины сдвигались от полосок, алгоритм путал их с мячом.
Гримм думает, что его система поможет людям понять, как работают искусственные интеллекты, а также увидеть, когда они начинают функционировать неправильно и по каким-то причинам смотреть не туда. Также ее можно использовать для обучения ИИ, направляя их внимание на значимые участки информации.