Константин Константинович, любивший русскую природу и воспевавший ее в стихах, давно желал повезти своих детей не в Павловск, не в Крым, где у него также было поместье, а в простую русскую деревню. И вот нашел он сдававшуюся внаем усадьбу в селе Нижние Прыски, находившемся близ Оптиной пустыни. Великий Князь побывал в 1887 году в этой обители и беседовал в скиту со старцем Амвросием, а в дальнейшем переписывался с ним и другими старцами. Ему хотелось, чтобы и дети его могли побывать в Оптиной пустыни – в монастыре и в скиту, помолиться на службах, посмотреть на монастырский быт. В мае 1901 года Великий Князь привез в Прыски всю семью. Дом был большой, удобный, с большим парком, неподалеку от него находились церковь Преображения Господня, лес, река Жиздра, крестьянские избы. Отсюда хорошо виден монастырь с белой стройной колокольней… Позади него стеной стоит вековой сосновый бор.
В первые же дни по прибытии в Нижние Прыски Великий Князь Константин Константинович повез детей в Оптину пустынь. В течение лета они побывали здесь несколько раз, ездили туда отец и сын верхом, мать с дочерьми в коляске. Детям дали некоторую свободу. Им сшили простые ситцевые рубашки. Даже изволили ходить босиком. Погода была на редкость благодатная. Дети познакомились с крестьянскими мальчиками, стали ходить с ними в лес, бывали в поле, на сенокосе, где трудились крестьяне. Они загорели, стали общительными. К ним очень по-доброму отнеслись в селе и взрослые и дети. Олег почувствовал себя здесь как дома. Он был счастлив: сколько нового, прекрасного!
Лучшими его друзьями стали деревенские отроки Гришка и Капитошка (как те себя отрекомендовали). Они были проводниками для всей княжеской семьи во время походов в лес и в плавании на лодках. Тогда на долгих привалах собирали они грибы, весело трещал костер на берегу реки. Можно было искупаться в теплой воде. Заходил Олег в крестьянские избы, видел простой и бедный быт, и он даже нравился ему: все простое – стол, посуда, лавки… В красном углу иконы. Олег начал учиться верховой езде. Случалось, падал с лошади, но верховая езда полюбилась ему на всю жизнь. Очень скоро он стал умелым ездоком.
Встречать Великого Князя в монастырях полагалось с особенной торжественностью и при колокольном звоне, но Великий Князь Константин Константинович попросил настоятеля не делать этого. Поэтому торжественных встреч не было, но в колокола все же звонили. Олег с удовольствием стоял на оптинских службах, видел монашеский постриг.