Самые ранние описания петель привычек, формируемых по принципу «триггер – поведение – вознаграждение», опубликовал в конце XIX века джентльмен по имени Эдвард Торндайк[7]. Его интерес вызывали потерявшиеся собаки, которые вопреки всему снова и снова находили дорогу домой. Торндайк, считавший, что привычным объяснениям недостает научной строгости, решил разобраться в механизме обучения у животных. В статье «Интеллект животных» он поставил под сомнение выводы своих коллег: «В большинстве этих книг мы можем найти не описание психологии животных, а их восхваление» (курсив автора)[8]. Он утверждал, что его современники «ищут интеллекта и чего-то необычного, игнорируя при этом глупость и нормальное поведение». Под нормальным поведением он понимал возникновение в процессе обучения определенных ассоциаций, наблюдаемое в повседневной жизни, и не только у собак, но и у человека. Так, например, запах корицы и мандаринов ассоциируется у нас с новогодними праздниками.
Стремясь восполнить научный пробел, Торндайк наблюдал за собаками, кошками и (похоже, менее успешно) цыплятами, которых помещал в клетки различных конструкций. Клетки оснащались несложными механизмами, позволяющими открыть их изнутри, например потянув за петлю на шнуре, нажав на рычаг или встав на платформу. Если животное находило способ выйти наружу, его немедленно поощряли едой. Ученый повторял эксперимент несколько раз, фиксируя количество попыток и способ открывания дверцы, чтобы связать определенное поведение с побегом из клетки и последующим кормлением (вознаграждением). Торндайк отмечал: «После установления четкой ассоциации время, необходимое животному для побега, становилось практически неизменным и очень коротким».
Торндайк обнаружил, что животные могут усвоить простые шаблоны поведения (потянуть за шнур), чтобы получить вознаграждение (еду). Он описал механизм обучения, основанного на поощрении. Важно отметить, что своими методами ученый снизил вероятность возникновения ошибок (таких, например, как эффект наблюдателя), способных исказить результаты экспериментов. Он пришел к выводу: «Таким образом, работа, выполненная одним исследователем, может быть повторена, проверена или усовершенствована другим». Исследования Торндайка позволили перейти от публикации необъяснимых историй об удивительных собаках, которые совершили некое действие х, к констатации возможности обучать любых собак (а также кошек, птиц и слонов) выполнению действий x, y и z.
В середине XX века Б. Ф. Скиннер подтвердил наблюдения Торндайка в ходе серии экспериментов на голубях и крысах. Он исследовал реакцию на изменение одного из условий, в которых находились животные (например, цвета камеры, которая позже получила название «ящик Скиннера»[9]). Он быстро научил животное выбирать вместо черной камеры белую лишь посредством кормления его во второй и/или слабых ударов током в первой. Скиннер и другие ученые экстраполировали эти выводы, чтобы показать,