1846 год, январь: Толстой – надворный советник. Во второй книге сборника «Вчера и сегодня» появляется «Амена» – фрагмент из романа Толстого «Стебеловский». Правда, больше ничего об этом произведении не известно.
В 1847–1849 годах Толстой работает над балладами из русской истории, задумывает роман «Князь Серебряный». Бурная светская жизнь продолжается: в феврале 1848 года Толстой становится членом Петербургского Яхт-Клуба. Когда в апреле 1850 года его командируют в Калужскую губернию для участия в комиссии по её обревизованию, в одном из писем он называет эту обычную в общем для чиновника такого ранга командировку «изгнанием». Но зато в Калуге в губернаторском доме, где ведёт салон его жена А.О. Смирнова-Россет, Толстой встречается и близко знакомится с Гоголем. Более того, читает здесь свои стихотворения и отрывки из «Князя Серебряного». Одновременно решает свои имущественные дела: приобретает имение Пустынька близ Петербурга. Вскоре после возвращения Толстого в столицу, в январе 1850 года вспыхивает скандал после премьеры его пьесы «Фантазия» в Александринском театре – постановка не понравилась Николаю I и была снята с репертуара. К этому же времени относится знакомство на маскараде в Большом театре с женой конногвардейского полковника Софьей Андреевной Миллер (урождённая Бахметьева; 1825–1892). Эта женщина с завораживающим голосом, прекрасной фигурой и пышными волосами, умная, волевая, прекрасно образованная (знала 14 языков) с юности была обуреваема сильными страстями. Рассказывали, что её брат Пётр погиб на дуэли с одним из князей Вяземских, ввязавшись в запутанную историю любовных отношений сестры с князем. Писатель Дмитрий Григорович до старости вспоминал свой бурный роман с Софьей Андреевной («Она была необыкновенно страстной и всё просила нового»).
Софья Андреевна становится самым сильным сердечным увлечением и Алексея Толстого. С той поры он постоянно ищет встреч с ней.
19 мая 1851 года Толстому высочайше пожаловано звание церемониймейстера двора. В зиму 1851–1852 года он едет к дяде В.А. Перовскому в Оренбургскую губернию и посещает по дороге туда и обратно имение Смальково в Пензенской губернии, где в семье своего брата, П.А. Бахметева, живёт расставшаяся с мужем Софья Андреевна… Возвратившись весной в Петербург, Толстой хлопочет о смягчении участи И.С. Тургенева, арестованного в апреле 1852 года за статью памяти Гоголя.
В 1854 году в журнале «Современник» печатаются стихотворения Толстого и «Досуги Козьмы Пруткова», а летом Толстой предпринимает усилия по созданию партизанского отряда на балтийском побережье – идёт Восточная война. 28 марта 1855 года высочайшим приказом младший чиновник II Отделения статский советник и церемониймейстер граф Толстой определён майором в Стрелковый полк Императорской Фамилии, расквартированный в селе Медведь под Новгородом. Зачислен в списки