Исследование SMT продолжается уже более 20 лет. Для фраз и коротких предложений уже достигнут значительный прогресс. Но перевод длинных предложений, особенно со сложных языков, вроде китайского или английского, все еще оставляет желать лучшего. До недавнего времени никто не задумывался о подходе NMT (переводе, основанном на нейронных сетях). В его основе – нейронная сеть с бесчисленным количеством узлов. Исходное предложение векторизуется и передается через средний слой сети компьютеру в виде выражения, понятного для него. Затем проходит сквозь многослойную операцию и переводится на другой язык.
При таком переводе объем данных должен быть огромным, иначе система окажется бесполезной. Поисковые системы, вроде Baidu или Google, могут собирать перевод из огромного количества человеческих высказываний в интернете. Только такие объемы данных способны прокормить NMT. Система сможет самостоятельно отладить механизм перевода. И результат будет лучше, чем при SMT. Особенно, если будет достаточно информации на языке перевода.
SMT использует локальную информацию. Фраза расчленяется на сегменты. Сегменты обрабатываются и переводятся. И только потом сшиваются вместе. NMT использует общую информацию. Система кодирует фразу полностью (как люди во время перевода сначала читают предложение целиком). А потом на основе закодированной информации генерирует перевод. За счет этого достигается более высокий уровень читаемости текста.
Например, один из важных аспектов в переводе – порядок слов. Китайцы размещают определения перед определяемым словом. А в английском определение находится после. Машины часто путают этот порядок. Преимущество NMT в его способности к обучению порядку слов в языке. Это обеспечивает плавность перевода в длинных предложениях.
Традиционные методы перевода не бесполезны. Каждый из них выполняет свою функцию. Например, при переводе идиом нельзя использовать дословный перевод. Они всегда имеют устойчивое значение. Потребности пользователей интернета разнообразны: перевод разговорного языка, резюме, новостей и прочего. Поэтому одним методом сложно удовлетворить все запросы. Baidu сочетает в себе сразу несколько традиционных методов перевода: перевод, основанный на грамматических правилах, на примерах, на статистике и на нейронных сетях.
В такой модели машинного перевода человек не ищет грамматические правила, а устанавливает математические модели и параметры, чтобы помочь компьютерной сети выявить правила самостоятельно. Когда человек вводит предложение и получает на выходе его перевод, он не думает, что происходит в середине цепочки. Это называется сквозным переводом. Этот удивительный подход называется байесовским, или скрытой марковской моделью. Для решения проблемы здесь используется теория вероятностей.
С помощью байесовского метода распределения информации можно построить модель личности