Могут ли алгоритмы машинного обучения подслушивать язык животных?

Содержащиеся в неволе шимпанзе понимают по-английски так же хорошо, как двухлетний ребенок¹¹, и используют жесты человека⁵. Дельфины совместно координируют свои действия, чтобы открывать контейнеры¹⁴ и выполнять новые трюки⁹. Попугай может достоверно сообщить номер или цвет предмета¹⁰. И луговые собачки бьют тревогу, когда высокий человек в белом быстро приближается¹²!

Используют ли животные язык? И если да, то можем ли мы использовать ИИ? поговорить с ними?

Человеческий язык

Люди используют язык для общения. Животные также общаются как визуально, так и вербально на самые разные темы, от того, где найти пищу, до желания спариться или предупреждений об опасности.

Но человеческий язык — это больше, чем просто общение. Человеческий язык продуктивно сочетает дискретный набор в основном произвольных звуковых единиц, каждая из которых имеет индивидуальное фиксированное значение, для совместной передачи новой информации. Язык может описывать вещи, присутствующие непосредственно, удаленные во времени или пространстве, или даже гипотетические, а сложные правила управляют тем, как мы объединяем эти единицы. Слова делятся на категории: существительные, глаголы, предлоги. Некоторые категории, такие как глаголы, требуют, чтобы другие слова выполняли вспомогательные семантические роли: глагол дать требует нескольких аргументов: дающий, даруемая вещь и получатель. Вы не можете сказать *Сара дала Иоанну, чтобы слушатель не спросил: «что дала Сара?»

Но, возможно, самым отличительным аспектом человеческого языка является использование рекурсивной структуры для кодирования значения. В «девушка, которая увидела мужчину, который водил грузовик, у которого лопнула шина, уже уехала» каждое «это» вводит рекурсивное предложение, которое вносит свой вклад в значение всего предложения.

А.И. Talks рассказывает о попытках человечества научить искусственные системы общаться с помощью языка. Понимание тонких различий и удивительного сходства между человеческими языками и системами общения животных может помочь нам сосредоточиться на том, что именно должна делать искусственная языковая система.

Общение с животными

На первый взгляд общение большинства животных может показаться упрощенным по сравнению с человеческим языком, но на самом деле различные животные обладают почти всеми свойствами языка!

У многих животных есть репертуар дискретных вокализаций, несущих фиксированные значения. Например,

  • Низкоранговая макака-резус будет издавать «шумный крик» при столкновении с высокопоставленным членом социальной группы, в то время как высокопоставленный член будет издавать «арочный крик» — отдельный отчетливый звук¹².
  • У многих певчих птиц пронзительный чистый звук «сидит», который предупреждает о приближающемся хищнике, и отдельный, более резкий «толпящийся» крик, который собирает ближайших птиц, чтобы напасть на хищника¹².

Животные могут сообщать о событиях, которые не происходят в данный момент. Пчелы танцуют, чтобы сообщить другим членам своего улья, где найти пищу на некотором расстоянии. Было показано, что сигналы тревоги луговых собачек кодируют информацию о приближении человека, который когда-то в прошлом стрелял из ружья¹². А содержащиеся в неволе дельфины, которых научили отдельным командам «выполнять новый акробатический трюк» и «выполнять трюк с другим дельфином», когда их просят выполнить новый трюк вместе, каким-то образом координируют свои будущие действия для этого⁹!

Физическая форма некоторых сигналов, которые производят животные, определенно влияет на значение этого сигнала. Например, предупреждающее «сидение» певчих птиц может быть высоким и чистым, потому что определить источник высоких звуков труднее. Но многие сигналы, которые животные используют для общения, имеют произвольное значение. Кон Слободчикофф показал, что луговые собачки кодируют значительные объемы информации, модулируя частоты своих коротких чирикающих сигналов тревоги определенным, но произвольным образом¹².

Некоторые животные, такие как луговые собачки Слободчикова, по-видимому, способны продуктивно описывать новые идеи. В одном эксперименте Слободчиков использовал систему шкивов для бельевой веревки, чтобы отправить вырезы из фанеры в натуральную величину в центр колонии луговых собачек. Один вырез представлял собой силуэт койота, а другой представлял собой абстрактный овал примерно такого же размера. Каждый силуэт вызывал отчетливые крики луговых собачек. Вырез койота издавал крики, похожие на те, которые луговые собачки использовали для настоящих койотов, но в ответ на овальную форму луговые собачки издавали совершенно новый крик¹². Точно так же, когда юная шимпанзе по имени Уошу не знала знака, обозначающего ее стульчик-горшок, она продуктивно комбинировала новую последовательность знаков, которые знала: ГРЯЗНО и ХОРОШО⁵.

Продвигаясь еще дальше в сфере человеческого языка, было показано, что шимпанзе, а также дельфины понимают, по крайней мере, ограниченную форму семантической структуры аргументов. Плененный шимпанзе по имени Элли понимал фразы с предлогами, такие как «Зубная щетка на одеяле», которые требуют двух аргументов: предмет и местонахождение этого предмета. В формальных тестах своего понимания Элли помещал правильный предмет на правильную цель до 60% времени, несмотря на гиперактивность личности шимпанзе, из-за которой он часто терял интерес перед выполнением задач 😬.

В другом наборе экспериментов исследователи также научили двух содержащихся в неволе дельфинов, Аке и Феникса, фразам с предлогами, используя две очень разные командные структуры. Аке выучил язык, основанный на жестах, а Фениксу давали словесные команды; Между тем, точно так же, как в разных человеческих языках используется разный порядок слов, Фениксу давали команды в форме «объект А на объект Б», в то время как инструкции Аке шли как «объект А на объект Б». Даже с учетом различий в формах их команд, Аке и Феникс правильно помещали объекты на другие объекты лучше, чем в 60% случаев⁶ — намного лучше, чем 4% правильных результатов, которые можно было бы получить при случайном угадывании!

Из всех предложенных свойств человеческого языка единственное, которое не было окончательно задокументировано в системах общения животных, — это рекурсивная структура. И даже здесь продолжаются споры о том, комбинируют ли некоторые певчие птицы крики с разными значениями, используя рекурсивный синтаксис¹ ¹³.

Итак, с их многочисленными параллелями с человеческими языками, можно ли считать системы общения животных полноценным языком?

Язык животных?

Некоторые ученые, в том числе Слободчиков, называют общение животных «животным языком» именно потому, что так же, как люди используют язык для общения, вербальные и жестовые сигналы животных являются способом общения животных. Если человеческий язык развился из коммуникативных систем наших далеких предков, то не следует ли коммуникацию животных также квалифицировать как язык? Если мы будем систематически отделять человеческий язык от общения животных, мы рискуем воздвигнуть барьер между нами, возвышенными людьми, и миром природы, частью которого мы являемся. В конце концов, системы коммуникации животных служат им в их среде так же, как человеческий язык служит нам в нашей. И кажется ужасно несправедливым изгонять животных из языкового клуба только потому, что они могут не общаться так, как мы.

Но и животные, и люди используют системы общения, которые явно не являются языком. Дорожные знаки передают информацию с помощью непроизвольных символов, которые обозначают аспекты непосредственного окружения, но очень редко могут быть объединены каким-либо понятным образом. Животные также отмечают территорию и тропы, не прибегая к языку. Люди и животные используют внешний вид, чтобы сигнализировать о возрасте, поле и социальном статусе. Но наши заявления о моде не следуют грамматическим правилам естественного языка.

Можем ли мы говорить с животными?

Тем не менее, хотя в настоящее время нет неопровержимых доказательств того, что какая-либо система общения животных обладает всеми чертами человеческого языка, это не гарантирует, что мы еще не обнаружим такую ​​систему! Вот почему я так воодушевлен текущими проектами, в которых используются методы искусственного интеллекта. и машинное обучение для анализа и расшифровки вокализации некоторых из самых умных и обладающих самым большим мозгом нечеловеческих видов на планете — китов.

Проект CETI³, возглавляемый Майклом Бронштейном из Имперского колледжа Лондона, анализирует вспышки щелчков, которые кашалоты используют для общения на больших расстояниях, в то время как другая группа, возглавляемая Дениз Херцинг, директором по исследованиям проекта «Дикий дельфин», и Тэдом Стамером из Технологического института Джорджии. анализирует звуки, издаваемые дельфинами⁷. Методы, которые используют обе эти группы, исходят непосредственно из современной обработки естественного языка. В частности, они используют глубокие нейронные сети для построения языковых моделей вокализации животных.

Языковая модель — это вычислительная система, которая по нескольким первым элементам последовательности предсказывает, что будет дальше. За последние несколько лет высокобюджетные технологические компании обучили огромные нейронные сети предсказывать следующее слово в предложении на английском (или другом естественном языке). В то время как 10 лет назад лучшие языковые модели не могли сгенерировать ни одного связного предложения; теперь модели глубокого языка, такие как GPT-3⁴, могут генерировать целые абзацы, которые в значительной степени связаны друг с другом.

Есть много проблем, которые необходимо преодолеть, чтобы применить глубинные языковые модели к вокализации китов: как найти китовый эквивалент слова? Как увеличить количество записанных вокализаций китов? Текущие успешные алгоритмы глубокого обучения были обучены на порядки большем количестве данных, чем количество записей кашалотов, которые у нас есть в настоящее время.

Но, возможно, самая большая проблема будет заключаться в том, что даже если мы сможем построить языковую модель на основе вокализаций китов, модель может выдать результат, который, хотя для кашалотов звучит естественно и правильно, для нас, людей, будет просто еще одной неразборчивой серией щелчков!

В недавней статье Эмили Бендер и Александра Коллера² утверждается, что современные языковые модели, такие как GPT-3, которые обучаются исключительно на тексте, по своей природе не могут связать слова, которые они производят, с объектами и сущностями в реальном мире. Эти модели не «понимают» ни входной, ни выходной текст. Они просто производят последовательности щелчков, которые люди могут интерпретировать!

Чтобы обойти эту проблему, жизненно важно связать аудиозаписи с контекстной информацией об окружающей среде. В своей работе с луговыми собачками, например, Кон Слободчиков тщательно записывал, какой хищник приближался в момент сигнала тревоги каждой луговой собачки.

Лично я надеюсь, что эти трудности удастся преодолеть. То, что мы обнаруживаем, что киты действительно общаются на полноценном языке. Что киты, которые уже явно манипулируют окружающей средой и эксплуатируют ее, передают смысл, комбинируя произвольные символы сложными — даже рекурсивными — способами. Я надеюсь, что мы обнаружим не только правильную реакцию на вокализацию кита, но и интерпретацию этой вокализации на языке, понятном людям.

Я, например, с нетерпением жду того дня, когда у нас будет содержательный разговор с китами — когда А.И. Разговоры!

Библиография

¹Йохан Дж. Болхуис, Габриэль Дж. Л. Беккерс, Маринус А. К. Хайбрегтс, Роберт С. Бервик, Мартин Б. Х. Эверарт. 2018. Значащая синтаксическая структура в вокализациях певчих птиц? PLoS Biol 16(6): e2005157. https://doi.org/10.1371/journal.pbio.2005157

²Эмили М. Бендер и Александр Коллер. 2020. Восхождение к NLU: о значении, форме и понимании в эпоху данных. Материалы 58-го ежегодного собрания Ассоциации компьютерной лингвистики. https://aclanthology.org/2020.acl-main.463.pdf

³Майкл Бронштейн. 2020. Следующие шаги проекта CETI: Сбор и анализ биоакустических данных о китах в промышленных масштабах. Семинар по расшифровке связи у нечеловеческих видов. https://www.youtube.com/watch?v=6B8Fg2kZrxA&ab_channel=SimonsInstitute

⁴ Том Б. Браун, Бенджамин Манн, Ник Райдер, Мелани Суббиа, Джаред Каплан, Прафулла Дхаривал, Арвинд Нилакантан, Пранав Шьям, Гириш Састри, Аманда Аскелл, Сандини Агарвал, Ариэль Герберт-Восс, Гретхен Крюгер, Том Хениган, Ревон Чайлд, Адитья Рамеш, Дэниел М. Зиглер, Джеффри Ву, Клеменс Винтер, Кристофер Хессе, Марк Чен, Эрик Сиглер, Матеуш Литвин, Скотт Грей, Бенджамин Чесс, Джек Кларк, Кристофер Бернер, Сэм МакКэндлиш, Алек Рэдфорд, Илья Суцкевер, Дарио Амодей. 2020. Языковые модели — это малоэффективные ученики. NeurIPS 2020. https://papers.nips.cc/paper/2020/file/1457c0d6bfcb4967418bfb8ac142f64a-Paper.pdf

⁵Роджер Фаутс. 1997. Ближайшие родственники: мои беседы с шимпанзе. ХарперКоллинз, Нью-Йорк.

⁶ Луи М. Герман. 1986. Когнитивные и языковые компетенции афалин. В познании и поведении дельфинов: сравнительный подход, 221–252.

⁷ Дениз Херцинг. 2017. Взлом кода общения дельфинов. Разговоры в Google. https://www.youtube.com/watch?v=Mfb6zoB_yII&ab_channel =TalksatGoogle

⁸ Эдвард Како. 1999. Элементы синтаксиса в системах трех языковых животных. Обучение и поведение животных, 27 (1), 1–14.

⁹Новая наука сейчас. 2011. Насколько умны дельфины? Сезон 5, Эпизод 4. https://www.pbs.org/video/nova-sciencenow-how-smart-are-dolphins/

¹⁰Ирэн М. Пепперберг. 2002. В поисках кольца царя Соломона: когнитивные и коммуникативные исследования серых попугаев (Psittacus erithacus). Мозг, поведение и эволюция, 59 (1–2), 54–67.

¹¹Е. Сью Саванж-Рамбо, Джаннин Мерфи, Роуз А. Севчик, Карен Э. Бракке, Шелли Л. Уильямс и Дуэйн М. Рамбо. 1993. Понимание языка обезьяной и ребенком, Монографии Общества исследований детского развития, 58 (№ 3–4).

¹²Кон Слободчиков. 2012. В погоне за доктором Дулиттлом: изучение языка животных. Издательство Св. Мартина, Нью-Йорк.

¹³Тоситака Н. Судзуки, Дэвид Уиткрофт, Майкл Гриссер. 2018. Комбинации криков у птиц и эволюция композиционного синтаксиса. PLoS Biol 16(8): e2006532. https://doi.org/10.1371/journal.pbio.2006532

¹⁴Ямамото, Нобуюки Кашиваги, Мика Оцука, Май Сакаи и Масаки Томонага. 2019. Сотрудничество у афалин: двусторонняя координация в задаче натягивания каната. PeerJ 7:e7826 http://doi.org/10.7717/peerj.7826