Дважды его навестил отец, оставаясь в Тарханах на несколько дней, и можно только догадываться, сколько радости было в обоих, и сколько печали потом. Арсеньева очень боялась, что зять вдруг захочет забрать ребенка. Если он сообщал, что приедет, она отправляла посыльного к брату Афанасию – звать на помощь. Впечатлительный, вспыльчивый Юрий Петрович не мог хладнокровно вынести это, он выходил из себя и доводил тещу до слез. Тогда у нее появилась мысль упросить Лермонтова привезти пятилетнего сына его сестры Авдотьи – пусть растут вместе с Мишей. Она уже приняла одного мальчика, ровесника внука: это был сын ближайших соседей Коля Давыдов.
Что бы ни повлияло на решение Авдотьи Петровны, но она согласилась. Миша Пожогин-Отрашкевич стал добрым другом Миши Лермонтова и жил у Арсеньевой до своего поступления в кадетский корпус. К нему относились прекрасно, Авдотья Петровна не имела ни малейшего неудовольствия. На лето брала сына домой.
В 1820 году Елизавета Алексеевна снова повезла внука на Кавказ. Для пятилетнего ребенка кавказский ландшафт еще не был таким впечатляющим, как это случилось потом. Но все-таки были и сильные впечатления: Миша узнал, что имение сестры его бабушки охраняют казаки от диких набегов горцев! Оно находилось близко к Кизляру в крепости Ивановской; Екатерина Алексеевна Хастатова давно привыкла к набегам и не обращала внимания. Если тревога случалась ночью, спрашивала: «Не пожар ли?» Когда ей доносили, что не пожар, она спокойно продолжала спать. За бесстрашие ее прозвали «авангардной помещицей», но никакая храбрость не могла бы противостоять горским нападениям, если бы крепость не охранялась казачьим отрядом. Екатерина Алексеевна была замужем за генерал-майором Акимом Васильевичем Хастатовым, но рано овдовела: муж скоропостижно скончался в 1809 году. Осталась с тремя детьми, но из крепости не уехала. В 1812 году, как могла, помогала отечеству, за что была удостоено медали «В память Отечественной войны 1812 года».
Отдохнув на Кавказе, Елизавета Алексеевна вернулась в Тарханы, попутно заглянув в Пензу, где обсудила с Афанасием Гавриловичем Раевским вопрос об образовании внука: Мише скоро шесть лет. Смотритель пензенского уездного училища, Афанасий Гаврилович знал педагогические требования и, сообразуясь с ними, Арсеньева выписала учителей литературы, французского, латинского языков, арифметики, музыки и живописи. Теперь вместе с Мишей не только воспитывались, но и учились Миша Пожогин-Отрашкевич, Коля Давыдов и еще несколько мальчиков. Как вспоминал Пожогин-Отрашкевич: «Лермонтов учился прилежно, имел особенную способность и охоту к рисованию, но не любил сидеть за уроками музыки. В нем обнаруживался нрав добрый, чувствительный, с товарищами детства был обязателен и услужлив, но вместе с этими качествами в нем особенно выказывалась настойчивость».
Немецкому языку обучала детей Христина Ремер – бонна, приставленная к Мише несколько лет назад, женщина строгих правил и очень религиозная. Она внушала своему питомцу