Вопрос жизни и смерти: роботехники объяснили, зачем жульничают, играя с компьютером
Два месяца назад мы писали, что исследователи нашли способ победить «непобедимую» программу KataGo. Вкратце напомним, что в августе 2022 года группа исследователей опубликовала статью, описывшую метод победы над KataGo, задействующий слепые зоны искусственного интеллекта. Применить её может даже игрок-любитель, утверждали учёные. Для этого достаточно столкнуть программу с неожиданной тактикой, даже если с точки зрения человека она выглядит наивной и глупой.
Как объяснил соавтор статьи Адам Глив изданию Ars Technica, игроку нужно сначала захватить только один угол доски (человек играет чёрными на картинке ниже). KataGo захватывает большую часть доски, а его соперник-человек разыгрывает все камни на остальной территории.
Компьютер начинает думать, что уже выиграл, поскольку его территория намного больше, чем у противника. KataGo не знает, что по правилам подсчёта очков противник получает очки за свою угловую территорию, а KataGo — нет, потому что на его территории находятся камни противника.
Против людей тактика не сработает
Почему KataGo так долго не могли обыграть? Потому что когда люди играют против неё, они подсознательно приравнивают компьютер к очень сильному игроку-человеку. А надо было действовать как хакеры — понимать, что перед вами компьютер, и пользоваться его наивностью.
Подобные бреши есть практически в любой системе, основанной на искусственном интеллекте с глубоким обучением, и именно они в последнее время всё чаще привлекают внимание учёных. В 2022 году было другое исследование, доказавшее, что беспилотные автомобили крайне уязвимы к обычному пранку с применением мусорных вёдер и подобных предметов.
Системы искусственного интеллекта, казалось бы, отлично работающие, «сыплются» на непредсказуемо «глупых» мелочах, там, где человек даже средних способностей никогда бы не ошибся, пишет телеграм-канал Robocounsel. Хуже всего, что речь может идти о критически важных с точки зрения безопасности применениях.
Например, водитель-робот в 99,99% случаев безопаснее, чем человек — у него лучше реакция и острее зрение. Но появляется группа злоумышленников, использующих пробелы в знаниях беспилотника, и это приводит к ДТП. Все аварии, которые совершил автопилот Tesla, происходили в тех маловероятных сценариях, с которыми ИИ не сталкивался во время обучения.