Все эти данные заставляют думать, что легенда о романтическом происхождении поэта в лучшем случае представляет собою плод недоразумения…»
Так или иначе, разрыв между супругами Толстыми произошёл, и шестинедельного Алексея Толстого мать перевозит на Черниговщину, в своё имение Блистава, а затем в Красный Рог Мглинского уезда – имение брата, А.А. Перовского.
Первые стихотворные опыты Толстого относятся к 1823–1824 годам, а зимой 1826 года А.А. Перовская с сыном и братом возвращаются в Петербург. Здесь происходит знакомство Алексея с наследником престола, будущим императором Александром II (он на полгода младше Толстого). В том же году становится «товарищем для игр» наследника. Осенью Алексей Перовский встречается в Москве с Пушкиным. Вероятно, с ним был и племянник.
Летом 1827 года, путешествуя по Германии, Перовский, мать Толстого и он сам знакомятся в Веймаре с Гёте. Существует свидетельство, что автор «Фауста» тепло встретил будущего поэта и подарил мальчику обломок бивня мамонта с собственным рисунком фрегата на нём.
Особая часть жизни Толстого – его дружба с наследником престола. Интересная история произошла 30 августа 1829 года, в день ангела Александра. Дед по матери, король прусский Фридрих-Вильгельм III, прислал внуку оловянных солдатиков. Дети – наследник и Толстой – разыгрались. Вошедший в комнату император Николай I увлёкся игрой и в конце концов присоединился к детям.
В 1831 году, отправившись с матерью и дядей в Италию, Толстой ведёт дневник. В Риме знакомится с К.П. Брюлловым, который делает рисунок в альбоме Толстого.
Государственную службу Толстой начал в 1834 году. Он зачислен «студентом» в Московский Главный архив Министерства иностранных дел, в котором в разное время служили многие известные деятели русской культуры – братья Веневитиновы и Киреевские, С.П. Шевырев, А.И. Кошелев… Он продолжает писать стихи, о них одобрительно отзывается В.А. Жуковский. Предполагают, что творческие опыты юного поэта поддержал и Пушкин. В начале декабря 1835 года Толстой подаёт прошение в Московский университет о допущении к сдаче университетского экзамена – «из предметов, составляющих курс словесного факультета, для получения учёного аттестата на право чиновников первого разряда», а 4 января 1936 года Совет Московского университета выдаёт Толстому аттестат