Интервью с исследователем жестовых языков из Университета Амстердама Вадимом Киммельманом

В ноябре 2016 года по приглашению Московского Политеха исследователь из Университета Амстердама Вадим Киммельман прочитал авторский курс «Введение в жестовую лингвистику». Вадим работает научным сотрудником (post doctoral researcher) в университете Амстердама, где он защитил диссертацию и ведет курсы по общей и жестовой лингвистике в бакалавриате и магистратуре. Область его интересов – грамматика жестовых языков (в первую очередь, русского и нидерландского). Вадим участвовал в создании первого корпуса русского жестового языка. Им опубликованы работы, посвященные частям речи, порядку слов, информационной структуре, кванторным выражениям в жестовых языках.

Вадим прочитал для студентов магистерской программы «Жестомимический интерфейс (SurdoJet)» авторский курс «Введение в жестовую лингвистику». Курс состоял из пяти очных занятий и самостоятельной работы, которые были посвящены изучению основных лингвистических уровней в жестовых языках, а также сравнению жестовых языков с другими визуальными системами. Особое внимание уделялось русскому жестовому языку, но в качестве иллюстрации использовались примеры из множества других жестовых языков. Курс проходил в открытом формате и его могли посетить все желающие.

– Вадим, как и когда вы выбрали сферу для своих исследований?

– Это получилось довольно случайно. Я учился в РГГУ на теоретической лингвистике и в какой-то момент на втором курсе мне пришла в голову мысль, что жестовые языки тоже обладают универсальными свойствами, как и любые другие языки. Мне захотелось этим заняться, и я стал искать. Оказалось, что в России этим почти никто не занимается, российских исследований не хватало. Я пошел на курсы русского жестового языка, чтобы выучить его и со следующего года уже начал писать курсовые работы о грамматике русского жестового языка.

– Как проводятся исследования в этом направлении?

– В лингвистике есть разные области и разные вопросы: например, есть область фонетики и фонологии - это про звуки, про то, как мы их произносим, какие есть системы звуков. Есть, например, морфология – это про корни, приставки, суффиксы. А есть психолингвистика – о том, как мы воспринимаем речь, про то, какие отделы мозга отвечают за речь и язык. И во всех этих областях свои методы. Я работаю с грамматикой жестовых языков. Мой метод заключается в том, что мы записываем данные: просим носителя языка рассказать какую-нибудь историю по картинкам, или на вольную тему. Дальше я записываю это на видеокамеру, перевожу и анализирую, какие структуры там встретились. Плюс этого метода в том, что получается естественный язык и его можно анализировать. Минус в том, что, во-первых, очень долго и трудно эти данные аннотировать, переводить и анализировать. Во-вторых, многие конструкции, которые хотелось бы исследовать, не встретятся спонтанно. Поэтому второй основной метод, который применяется – это «элицитация»: мы просим носителя оценить предложение – составляем его и спрашиваем у носителя, можно ли так сказать.

– Как связан русский язык, на котором мы говорим, с русским жестовым?

– Люди, которые никогда не слышали про жестовый язык, думают, что русский жестовый язык – это просто русский язык, но с жестами: то есть мы берем русский язык и добавляем для каждого слова соответствующий жест в том же порядке. На самом деле, в русском жестовом языке грамматика совсем не такая. Используется другой порядок слов, другие грамматические маркеры – например, не используются суффиксы и приставки, а используются что-то, что больше похоже на чередование. Есть совсем другие типы глаголов, используется пространство, мимика. Лексика, как и грамматика, тоже отличается. Есть жесты, которые нельзя перевести на русский одним словом. Есть и слова, которые нельзя перевести на жестовый одним словом. Это ситуация для любых двух разных языков. Но сказать, что русский и русский жестовый язык никак не связаны – тоже неправда. За счет того, что все глухие носители русского жестового знают русский в письменной, а многие и в устной форме, есть взаимодействие. Например, происходят заимствования. Лексические – это когда буквы русского языка передаются определенными формами руки и какое-то слово можно просто продактилировать – передать по буквам. Но бывает более тонко, когда одна буква становится частью жестов. В грамматике тоже иногда встречаются элементы влияния. Например, есть жест «бы» – это побуквенная передача русского слова «бы», и он используется в условных придаточных («если бы ты пришел, я бы тебя увидел»), но он обладает другими синтаксическими свойствами. Он находится в начале предложения, а не на второй позиции.

– Скажите, а когда вообще начали развиваться жестовые языки и какие сегодня тенденции в развитии?

– Жестовые языки возникают тогда, когда возникает сообщество глухих. Если у нас есть один изолированный глухой человек, который общается только со своей семьей и с другими слышащими людьми, то будет лишь некоторая ограниченная коммуникация. Но когда глухие собираются в группы (например, когда были основаны первые школы для глухих), то в ходе общения детей между собой и через несколько поколений возникали полноценные жестовые языки. Поэтому во многих западных странах возникновение жестовых языков связано именно с организацией первых школ для глухих. Систематически национальное образование для глухих появилось в конце XVIII – начале XIX века. То есть русскому жестовому языку чуть больше двухсот лет. Жестовые языки развиваются и меняются так же, как и звучащие. Одна из тенденций, например, в том, что жесты меняются, становятся более короткими и простыми для исполнения, иконичность утрачивается. Это происходит не со всеми жестами, но такая тенденция существует. Естественно, появляются неологизмы, обозначающие новые понятия - есть жесты, обозначающие YouTube, Facebook и другие компьютерные термины.

– Иностранные языки в основном сильно различаются. А жестовые различаются так же сильно или у них больше общего?

– На этот вопрос нельзя ответить просто.  С одной стороны, есть много разных жестовых языков, в некоторых странах их даже больше одного. Есть также родственные отношения между языками – например, американский и британский жестовые языки друг другу не родственные, в отличие от американского и французского. В разных аспектах грамматики жестовые языки различаются, они не все одинаковы. Но жестовые языки действительно больше похожи друг на друга, чем звучащие. Это связано с каналом коммуникации – это коммуникация визуальной модальности при помощи рук. В частности, в жестовых языках используется пространство - то есть объекты, о которых мы говорим, мы можем показать в пространстве.

– Как пишутся стихи на жестовом языке?

– Если дать широкое определение тому, что такое «стих» –  текст, в котором форма не менее важна, чем содержание, автор уделяет много внимания подбору слов и сочетает их, что иногда  выражается в рифме и ритме, но не обязательно их требует, –  то можно сказать, что в жестовом языке тоже есть художественные произведения, которые можно сравнить со стихами. И в них тоже уделяется особое внимание именно форме жеста. Также есть и нечто, похожее на рифму. Например, если используется одна и та же форма руки или одно и то же движение. Если мы в одной строке употребим какой-либо жест, а в другой употребим жест, похожий на него, то это может считаться визуальной рифмой. Внимание уделяется тому, как жесты должны красиво сочетаться.

– А какая связь между жестовыми языками и IT?

– Тут может быть связь в две стороны. Некоторые IT-специалисты интересуются жестовыми языками потому что здесь есть много сложных, интересных технических задач. Те же задачи есть и для звучащих языков – например, автоматический перевод или порождение текста на естественном языке. Это сложные задачи, но они сейчас активно развиваются. Тот же Google Translate переводит не идеально, но он позволяет понять, о чем был текст. Или системы распознавания и порождения речи, с помощью которых можно «общаться» с телефоном. Те же задачи есть и для жестовых языков – как понимать русский жестовый язык или порождать текст на жестовом языке. Жестовый язык использует визуальную модальность – распознавать и порождать надо визуальную информацию и видео, а не звуки и тексты. Также есть задачи автоматического перевода с русского жестового языка на русский. Порождение текста решается так, что создается 3D-модель человека, который бы порождал жесты. Все эти задачи для IT-шников интересны, в том числе для тех, кто учится на магистратуре SurdoJet. Зачем IT-шникам именно лингвистика жестовых языков? Она им может пригодиться, потому что лингвисты уже несколько десятилетий изучают, как устроены жестовые языки. Соответственно, накопились знания о грамматике жестовых языков. И если мы хотим сделать перевод с русского на русский жестовый язык, то система должна это учитывать и порождать жесты в правильном порядке. Также в жестовых языках огромную роль играет мимика, движения головы, артикуляция губами. Это должно быть частью любого «аватара», чтобы его «речь» выглядела естественно и носители её понимали. Соответственно, IT-шникам полезно познакомиться с этими знаниями, чтобы понять, какие аспекты жестового языка нужно понимать и порождать.

Лингвистам же интересно сотрудничество с IT-шниками, потому что нам нужны инструменты, с помощью которых можно будет изучать язык. Если я захочу, например, описать, какие именно мышцы и суставы задействованы в жестах, с какой скоростью движутся руки, как соседние жесты друг на друга влияют с точки зрения артикуляции. Как немануальные маркеры, например, движение бровей, влияют на жест. Как определить, когда именно брови начинают двигаться и насколько сильно они поднимаются. Чисто технически, на основании видео или каких-то других инструментов лингвистам нужно получить как можно больше точной информации о физической характеристике жестов. Для этого, несомненно, нужны новые технологии, которые развиваются, но пока не дошли до того уровня, чтобы лингвисты могли ими пользоваться без помощи IT-шников.

– А какие могут возникнуть трудности при обучении компьютера жестовым языкам?

– Могу привести такой пример. В жестовых языках есть различия между застывшими и продуктивными жестами. Застывшие – это аналоги слов. Такой жест компьютеру выучить просто, потому что его легко распознавать. А у продуктивных жестов фиксированной формы нет. Если в жестовом языке описывается движение объекта, для него можно использовать классификаторную конструкцию. В ней будет определенная форма руки (для обозначения человека это рука с вытянутым указательным пальцем), но движение руки будет просто описывать движение - вперед и вверх, влево и вниз. Оно может быть в любом направлении, и у таких жестов есть бесконечное число потенциальных форм. Для человека интерпретация данных форм труда не составляет, но компьютеру нужно будет понимать, что эта единица - не лексическая, мы не ищем такой жест, и компьютер должен понять, что здесь форму руки можно интерпретировать как человека, а все остальное нужно воспринимать аналогово, как траекторию движения.  

Беседовала Дарья Терентьева

Видеоинтервью:

Твитнуть

Ссылка

Ссылка: Нажмите на Ctrl+C, чтобы скопировать выделенный текст