ChatGPT пока знает бухгалтерский учет в два раза хуже, чем студенты

Ученые из Университета Бригама Янга и еще 186 университетов решили проверить, как ChatGPT справится с экзаменами на бухгалтера. Они собрали почти 30 тысяч вопросов, которые задают студентам разных университетов на бухгалтерских экзаменах и сравнили результаты людей и чат-бота. Люди дали 76,7% правильных ответов, а чат-бот — 47,4%. Но ученые считают, что ChatGPT способен очень быстро достичь уровня человека.
ChatGPT пока знает бухгалтерский учет в два раза хуже, чем студенты
Nate Edwards/BYU

По утверждению компании OpenAI, разработчика чат-бота с искусственным интеллектом ChatGPT-4, ИИ сдал экзамен на адвоката

Ученые из Университета Бригама Янга и еще 186 университетов захотели узнать, как технология OpenAI справится с экзаменами на бухгалтера.

РЕКЛАМА – ПРОДОЛЖЕНИЕ НИЖЕ

«Когда эта технология только появилась, все были обеспокоены тем, что студенты будут использовать ее для списывания», — говорит ведущий автор исследования Дэвид Вуд. - «Но вообще-то списать при желании можно было и раньше. Поэтому мы сосредоточились на том, как мы можем применить эту технологию сегодня, чтобы улучшить процесс подготовки преподавателей и обучения для студентов. Испытание этой технологии было очень впечатляющим».

В исследовании приняли участие 327 соавторов из 186 учебных заведений в 14 странах. Они предоставили 25 181 экзаменационный вопрос по бухгалтерскому учету и аудиту. Они также привлекли студентов старших курсов, чтобы те предоставили в ChatGPT еще 2 268 вопросов из тестового банка. Вопросы касались информационных систем бухгалтерского учета (AIS), аудита, финансового учета, управленческого учета и налогообложения и различались по сложности и типу (верно/неверно, множественный выбор, краткий ответ и т.д.).

РЕКЛАМА – ПРОДОЛЖЕНИЕ НИЖЕ

Что же получилось?

ChatGPT еще не готов работать бухгалтером, но аудитором уже может

Правильность ответов на вопросы
Правильность ответов на вопросы
https://watermark.silverchair.com/issues-2023-013.pdf
РЕКЛАМА – ПРОДОЛЖЕНИЕ НИЖЕ

Хотя результаты ChatGPT были впечатляющими, студенты показали лучшие результаты. Средний общий балл студентов составил 76,7%, в то время как средний балл ChatGPT — 47,4%. По 11,3% вопросов ChatGPT показал результат выше среднего студенческого, особенно хорошо справившись с AIS и аудитом. Однако ИИ-бот хуже справился с налоговыми, финансовыми и управленческими вопросами, возможно, потому что ChatGPT не справился с простыми математическими вычислениями.

РЕКЛАМА – ПРОДОЛЖЕНИЕ НИЖЕ

Что касается типа вопросов, ChatGPT лучше справился с вопросами типа «правда/ложь» (68,7% правильных ответов) и вопросами с множественными вариантами ответов (59,5%), но испытывал трудности с вопросами с краткими ответами (от 28,7% до 39,1%).

В ходе исследования ученые обнаружили некоторые интересные тенденции, в том числе:

  • ChatGPT не всегда понимает, когда занимается вычислениями, и делает нелепые ошибки, например, складывает два числа, когда нужно вычесть или неправильно делит числа.
  • ChatGPT часто дает объяснения своим неправильным ответам, хотя это и бессмысленно.
  • Иногда ChatGPT выдумывает факты. Например, он может дать ссылку на источник, который полностью сфабрикован, — ни такой работы, ни авторов просто не существует.
  • Авторы работы убеждены, что ChatGPT способен быстро улучшить свои бухгалтерские познания и снизить процент ошибок. Он может улучшить преподавание и обучение, включая возможность разрабатывать и тестировать задания.

«Нам нужно задуматься, преподаем ли мы информацию с добавленной стоимостью или только пересказываем пересказы», — говорит соавтор исследования, профессор бухгалтерского учета Мелисса Ларсон. — «Это вызов, и нам нужно понять, куда мы пойдем дальше».