ИИ учится приминать решения, как это делают люди
Нейронные сети, как правило, стараются принимать одни и те же решения в одинаковых условиях. Исследователи Технологического института Джорджии попытались обучить нейросетевые алгоритмы принимать решения так, как это делают люди — оценивая степень своей уверенности.
В статье в журнале Nature Human Behaviour описана нейронная сеть RTNet, которые демонстрирует признаки принятия решений, подобных решениям человека.
«Нейронные сети принимают решение, не сообщая вам, насколько они в этом решении уверены», — говорит соавтор работы Фаршад Рафии. — «Это одно из существенных отличий решений нейросети от решений человека, который практически никогда не бывает на 100% уверен в своем решении».
Большие языковые модели (LLM) нередко «галлюцинируют». Когда LLM задают вопрос, на который она не знает ответа, она начинает сочинять с таким же уверенным видом, как и тогда когда ответ действительно знает. Напротив, большинство людей в такой же ситуации признают, что ответить они не могут. То есть, нейросетям не хватает сомнения в своей правоте. Создание нейронной сети, более похожей на человека, может предотвратить множество неверных ответов нейросетей.
Сомневающаяся нейросеть
Команда обучила свою нейронную сеть распознавать рукописные цифры из известного набора данных MNIST. Чтобы оценить точность модели, ее протестировали на исходным наборе данных, а потом добавили к цифрам шум, чтобы их было труднее различить. Протестировали нейросеть на зашумленном наборе и на том же наборе протестировали людей — студентов, участвовавших в эксперименте.
Разработанная учеными модель RTNet опиралась на два ключевых компонента: байесовскую нейронную сеть (BNN), которая оценивает вероятность правильности решения, и процесс накопления подтверждений для разных вариантов решения. BNN каждый раз предлагает варианты ответа. Эти варианты немного различаются. Чем больше у варианта подтверждений, тем вероятнее, что он правильный. Процесс накопления подтверждений иногда может способствовать одному варианту, а иногда другому. Как только для одного из вариантов удавалось собрать достаточно подтверждений, RTNet останавливает процесс накопления и принимает решение.
Результаты модели сравнили с результатами людей. Шестьдесят студентов Технологического института Джорджии просмотрели один и тот же набор данных и поделились своей уверенностью в правильности решения. Исследователи обнаружили, что уровень точности, время отклика и степень уверенности были схожими между людьми и нейронной сетью.
Модель сравнили с другими нейросетями. Она показала более точные результаты в сценариях с более высокой скоростью, благодаря еще одному фундаментальному элементу человеческой психологии: RTNet ведет себя как люди. Например, люди чувствуют себя более уверенно, когда принимают правильные решения. По словам Рафии, даже без необходимости специально обучать модель для повышения уверенности, модель автоматически применяет ее.
Исследовательская группа надеется обучить нейронную сеть на более разнообразных наборах данных, чтобы проверить ее потенциал. Они также планируют применить эту модель BNN к другим нейронным сетям, чтобы снизить количество галлюцинаций.