Мало учиться решать проблемы.
Нужно еще и ставить проблемы
Базовый текст декабря 2017 года «Open-endedness: The last grand challenge you’ve never heard of»36 написан в соавторстве с Lisa Soros теми же Kenneth O.Stanley и Joel Lehman, которые в 2015 году написали книжку про важность новизны, «Why Greatness Cannot Be Planned: The Myth of the Objective».
В соответствии с подходом бесконечного развития, нужно не просто решать проблемы – ибо сложность и изящество решения при этом ограничено сложностью проблемы. Нужно делать две вещи: 1) порождать проблемы и 2) решать их.
Всё более и более сложные проблемы должны быть не любые, а находящиеся в зоне «ближнего развития» – не слишком трудные для решения, и не слишком лёгкие (тут в английском используется ещё одно плохо переводящееся слово: goldilocks, означающее в том числе «не горячее, и не холодное, а в самый раз»). Бесконечное развитие требует ступенек, не слишком низеньких, не слишком высоких.
В январе 2019 года Stanley (он сейчас возглавляет лабораторию искусственного интеллекта в OpenAI) и Lehman сделали алгоритм бесконечного развития37 а в марте 2020 года усилили этот алгоритм38. Алгоритм порождает своей стратегирующей частью всё более и более сложные рельефы местности (даёт параметры генератору рельефов: «ставит цель»), а затем его решающая часть-робот решает эти проблемы, то есть учится проходить заданные частью целеполагания рельефы. Оказалось, что постепенно наученные через «проблемы в зоне ближнего развития» роботы могут проходить в конечном итоге самые сложные среды, а попытки просто «решить проблему» без этих промежуточных научений, а просто «научиться с нуля», без stepping stones/ступенек проваливаются. Оказывается, без эволюции, без промежуточных ступенек мы не можем научиться чему-то сложному! Обучение какой-то деятельности должно быть многоступенчатым, развитие должно проходить через ступеньки, находящиеся на границе тумана – не слишком трудные (тогда научение невозможно), ни слишком лёгкие (тогда не будет накоплен опыт).
Для алгоритма бесконечного развития нужно достаточное время, и мы получим удивительные результаты. По большому счёту, эволюция на Земле получила удивительный результат, ибо она как раз реализует такой алгоритм: условия существования Земли ставят всё более и более разнообразные и сложные задачи развивающимся на ней животным и растительным видам, а эти виды достигают удивительного мастерства в решении этих задач. Один из самых интересных моментов тут – это получение биологического интеллекта, затем развитие цивилизации, а сейчас и получение искусственного интеллекта. Человечество ставит и ставит себе всё более и более сложные задачи, и научается эти задачи решать.
Этот алгоритм реализуется не только всей Землёй, не только всей цивилизацией, но даже в одном мозге. Автор когда-то задавал вопрос проф. Дж. Гриндеру (одному из основоположников нейролингвистического программирования), считает ли он перспективным «остановку внутреннего