В последующие десятилетия исследователи смогли усовершенствовать концепции обработки естественного языка и представления знаний. Этот прогресс привел к развитию повсеместных технологий обработки естественного языка и машинного перевода, используемых сегодня.
В 1978 году Эндрю Нг и Эндрю Хси написали влиятельную обзорную статью в журнале «Nature», содержащую более 2000 статей по ИИ и роботизированным системам. В документе были рассмотрены многие аспекты этой области, такие как моделирование, обучение с подкреплением, деревья решений и социальные сети.
После этого привлекать исследователей к обработке естественного языка становилось все труднее, а новые достижения в области робототехники и цифрового зондирования превзошли современное состояние обработки естественного языка.
В начале 2000-х большое внимание уделялось внедрению машинного обучения. Алгоритмы обучения – это математические системы, которые обучаются в процессе наблюдений.
В 1960-х Бендиксон и Руэль начали применять концепции обучающих машин в образовании и за его пределами. Их нововведения вдохновили исследователей на дальнейшее изучение этой области, и в 1990-х годах в этой области было опубликовано множество исследовательских работ.
В статье Сумита Чинтала 2002 года «Обучение с помощью поддельных данных» обсуждается система обратной связи, в которой искусственный интеллект обучается, экспериментируя с данными, которые он получает в качестве входных данных.
В 2006 году Юдофски, Штайн и Такер опубликовали статью о глубоком обучении, в которой предложили архитектуру масштабируемых глубоких нейронных сетей.
В 2007 году Рохит описал «гиперпараметры». Термин «гиперпараметр» используется для описания математической формулы, которая используется в процессе компьютерного обучения. Хотя можно разработать системы с десятками, сотнями или тысячами гиперпараметров, количество параметров необходимо тщательно контролировать, поскольку перегрузка системы слишком большим количеством гиперпараметров может привести к снижению производительности.
Соучредители Google Ларри Пейдж и Сергей Брин опубликовали статью о будущем робототехники в 2006 году. В этот документ включен раздел о разработке интеллектуальных систем с использованием глубоких нейронных сетей. Пейдж также отметил, что эта область не была бы практичной без широкого спектра базовых технологий.
В 2008 году Макс Ядерберг и Шай Халеви опубликовали «Глубокую речь». В ней представлена технология «Deep