ИИ научился сочинять песни птиц и понял, чем они похожи на язык человека

Если ChatGPT тренируются на человеческих текстах, чтобы создавать грамматически правильные предложения, то новый метод моделирования, предложенный учеными из Университета Пенсильвании, тренируется на записях птиц, чтобы создавать птичьи песни.
ИИ научился сочинять песни птиц и понял, чем они похожи на язык человека
Бенгальские вьюрки. Tilgatenaturecentre.
Сходство между моделями птичьих песен и человеческого языка, ставит под сомнение, что языки человека совершенно уникальны в природе.

Если ChatGPT тренируются на человеческих текстах, чтобы создавать грамматически правильные предложения, то новый метод моделирования, предложенный учеными из Университета Пенсильвании, тренируется на записях птиц, чтобы создавать птичьи песни.

РЕКЛАМА – ПРОДОЛЖЕНИЕ НИЖЕ

Результаты работы направлены на понимание структуры птичьего пения и его базовой нейробиологии, но они могут дать представление о нейронных механизмах человеческого языка, заявила команда. Работа опубликована в журнале Journal of Neuroscience.

Подобно тому, как люди располагают слова в определенном порядке, чтобы сформировать грамматически правильное предложение, птицы пропевают определенные наборы нот, так называемые слоги. Эти слоги располагают как слова человеческого языка только в ограниченном количестве комбинаций.

Контекстно-зависимые слова и слоги

Как для людей, так и для птиц завершение предложения или последовательности слогов часто зависит от того, что уже было сказано. Например, фраза «летит как» может быть частью аналогии, например, во фразах «время летит как стрела» или, например, во фразе «муха летит как на мед». Однако смешивание приводит к бессмысленным выражениям, например «время летит как на мед». В этом примере фраза «летит как» зависит от контекста.

РЕКЛАМА – ПРОДОЛЖЕНИЕ НИЖЕ
Пример зависимости слова от контекста. Здесь a1 и a2 — фраза «летит как», она имеет разный смысл в зависимости от контекста.
Пример зависимости слова от контекста. Здесь a1 и a2 — фраза «летит как», она имеет разный смысл в зависимости от контекста.
https://www.biorxiv.org/content/10.1101/2022.11.15.516592v3.full
РЕКЛАМА – ПРОДОЛЖЕНИЕ НИЖЕ

«Из нашей предыдущей работы мы знаем, что песни бенгальских вьюрков тоже имеют зависимость от контекста», — говорит соавтор работы Деже Джин. — «В новом исследовании мы разработали статистический метод для более точной количественной оценки зависимости от контекста у птиц и начали понимать, как эта зависимость запрограммирована в мозге».

РЕКЛАМА – ПРОДОЛЖЕНИЕ НИЖЕ

Исследователи проанализировали ранее записанные песни шести бенгальских вьюрков, которые пропевают около 7–15 слогов в каждой последовательности. С помощью нового метода исследователи разработали модели, которые точно воспроизводят последовательности, которые на самом деле поют птицы.

Модель для песен птиц и языка человека

Эти простые модели похожи на LLM (большие языковые модели, например, ChatGPT). Они отображают вероятности того, какие слова — или в данном случае слоги — скорее всего последуют за определенным словом/слогом на основе ранее проанализированных текстов или последовательностей песен. Они представляют собой тип модели Маркова — метод моделирования цепочки событий. Они представлены в виде своего рода блок-схемы, которая начинается со слога, указывающего на последующие варианты для различных слогов, которые могут следовать, а стрелки указывают с какой вероятностью прозвучит следующий слог.

РЕКЛАМА – ПРОДОЛЖЕНИЕ НИЖЕ
Пример статистического тестирования и вывода ИИ-модели POMM из конечного набора наблюдаемых последовательностей.
a. Истинный POMM, из которого генерируются наблюдаемые последовательности. Числа около стрелок — это вероятности перехода. b. Марковская модель для набора из N = 30 наблюдаемых последовательностей. c. Статистические тесты марковских моделей для N = 10, 30, 90. Серые полосы — это распределения Pβ для сгенерированных наборов. Красные линии — это Pβ для наблюдаемых наборов. d. POMM, выведенные из наблюдаемых наборов, и распределения числа состояний в POMM для 100 запусков.
Пример статистического тестирования и вывода ИИ-модели POMM из конечного набора наблюдаемых последовательностей. a. Истинный POMM, из которого генерируются наблюдаемые последовательности. Числа около стрелок — это вероятности перехода. b. Марковская модель для набора из N = 30 наблюдаемых последовательностей. c. Статистические тесты марковских моделей для N = 10, 30, 90. Серые полосы — это распределения Pβ для сгенерированных наборов. Красные линии — это Pβ для наблюдаемых наборов. d. POMM, выведенные из наблюдаемых наборов, и распределения числа состояний в POMM для 100 запусков.
https://www.biorxiv.org/content/10.1101/2022.11.15.516592v3.full

Исследователи продолжали усложнять и уточнять свою модель, добиваясь большей точности создаваемых песен.

РЕКЛАМА – ПРОДОЛЖЕНИЕ НИЖЕ

«У всех шести птиц, которых мы изучали, были контекстно-зависимые переходы слогов, что говорит о том, что это важный аспект пения птиц», — сказал Джин. — «Однако количество слогов с контекстной зависимостью варьировалось среди отдельных песен. Это могло быть связано с несколькими факторами, включая мозг птиц, или, поскольку эти песни выучиваются, это могло быть связано с объемом контекстной зависимости в песнях их наставника».

РЕКЛАМА – ПРОДОЛЖЕНИЕ НИЖЕ

Исследователи заявили, что их новый метод обеспечивает более надежный способ анализа не только пения птиц, но и вокализации других животных и даже поведенческие последовательности.

«Мы использовали этот метод с английским языком и смогли сгенерировать текст, который в основном грамматически правилен», — сказал Джин. — «Конечно, мы не пытаемся создать новую генеративную языковую модель, но интересно, что одна и та же модель может обрабатывать как пение птиц, так и человеческий язык. Возможно, базовый нейронный механизм также похож».

Джин добавил: «Многие философы описывают человеческий язык, и особенно грамматику, как что-то совершенно исключительные, но если эта модель, обученная на пении птиц, может создавать предложения, подобные языку человека, и если нейронные механизмы, лежащие в основе пения птиц и человеческого языка, действительно похожи, вы не можете не задаться вопросом, действительно ли наш язык настолько уникален».