Вскоре дети потеряли еще одного близкого человека. Одна из тетушек, опекунша Толстых Александра Ильинична Остен-Сакен скончалась в августе 1841 года. В очередной раз смерть родственника заставила детей изменить свое место жительства. Теперь они должны были переехать в Казань, где жила другая тетка, родная сестра их отца, Пелагея Ильинична Юшкова. Она и стала новой опекуншей несовершеннолетних детей Толстых. Все было бы хорошо, и дети остались бы в Ясной Поляне, если бы не условие, выдвинутое новой опекуншей – она-то и настояла на переезде Толстых в Казань.
Лев, как и его братья и сестра, покидать Ясную Поляну не хотели. Нежелание переселяться в незнакомый далекий город усилилось после того, как стало известно, что в Казань не поедет Татьяна Александровна Ергольская, к которой дети так привязались.
Ергольская, остававшаяся с Толстыми после смерти их отца, не нашла в себе сил ехать в Казань. Дело в том, что новая опекунша Юшкова ненавидела Ергольскую за то, что муж ее Владимир Иванович Юшков в молодости был влюблен в нее и делал ей предложение, но Татьяна Александровна ответила отказом. Пелагея Ильинична, как пишет С.А. Толстая, «никогда не простила Татьяне Александровне любовь ее мужа к ней и за это ее ненавидела, хотя на вид у них были самые фальшиво-сладкие отношения». Лицемерное предложение к Ергольской со стороны Юшковой тоже приехать в Казань, вызвало у первой оскорбление.
Дети плакали, расставаясь с усадьбой. В ноябре 1841 года на санях двинулись они в длинный и нелегкий путь. Дорога на Казань пролегала через Москву. Лев опять увидел Первопрестольную. Заехали помолиться у Иверской часовни. Воспользовавшись суматохой, самая младшая из детей – Маша даже кинулась бежать, чтобы не ехать в Казань, но ее разыскали в толпе и вновь усадили в сани. Через десять с лишним лет Толстой в письме к Т.А. Ергольской вспоминал: «Помните, наше прощание у Иверской, когда мы уезжали в Казань. В минуту расставания я вдруг, как по вдохновению, понял, что́ вы для нас значите, и по-ребячески слезами и несколькими отрывочными словами сумел вам передать то, что чувствовал».
Начиная с 1842 года почти каждое лето Лев приезжал из Казани в Ясную Поляну, проезжал он и Москву.
А «литературная» история дома на Плющихе не закончилась с переездом Толстых на другую квартиру. Любопытно, что в 1840–1850-х годах в этом доме на Плющихе бывали Гоголь, Погодин, С. Аксаков. Приходили они к известному в Москве медику Александру Осиповичу Армфельду. Как сообщает его биография, Армфельд был «профессором судебной медицины, медицинской полиции, энциклопедии, методологии, истории и литературы