И все же в подавляющем большинстве жанров и актов устной коммуникации телесный код и другие невербальные знаковые системы тесно взаимодействуют с речью и языком, так что коммуникация людей без участия соматических знаков часто выглядит либо странной, либо неполноценной. Отсюда следует, что полное описание того, как протекает устная коммуникация, невозможно без анализа механизмов, моделей, способов и инструментов взаимодействия естественного языка и соответствующего ему языка тела5.
Проблема описания взаимодействия естественного языка и других знаковых кодов, в частности языка тела, получила в лингвистической и семиотической литературе название проблемы мультимодальности6. А сравнительно недавно лингвисты и специалисты в области невербальной семиотики заговорили о мультимодальной лингвистике как об отдельной науке, изучающей мультимодальную коммуникацию7.
Задача описать то, как в коммуникативных актах невербальные семиотические коды взаимодействуют с естественным языком и друг с другом, становится еще более актуальной и важной, когда мы обращаемся к межъязыковой и межкультурной коммуникации людей. В этом случае приходится учитывать различие не только естественных языков, но также телесных и других знаковых кодов. Так, для правильного перевода на английский язык фразы Она сидела на корточках надо знать, что сочетание сидеть на корточках в английском языке обычно передается одним словом – глаголом to squat. А если мы захотим перевести на японский язык такой простой диалог, как – У тебя все хорошо? – Она ответила ему жестом «ОК», то столкнемся с более серьезными трудностями. Дело в том, что одним переводом слов и грамматических конструкций естественного языка,