В следующем году Толстой и Софья Андреевна много путешествуют: Франция, Англия, где в августе на острове Уайт Алексей Константинович встречается с Тургеневым, Герценом, Огарёвым и др. Собравшиеся основывают «Общество для распространения грамотности и первоначального обучения» (Тургенев пишет программу). Вместе с тем продолжается увлечение спиритизмом, Толстой часто встречается с Юмом. В сентябре – октябре 1860 года возлюбленные вновь живут в Пустыньке, а в ноябре он уже в Дрездене, где знакомится с поэтессой Каролиной Павловой, ставшей переводчицей на немецкий язык его «Дон Жуана».
1861 год. Реформы императора Александра II развиваются. В марте Толстой приезжает в Красный Рог и читает своим крестьянам манифест об освобождении. Затем раздаёт собравшимся деньги на угощение. Оглашение манифеста завершается долгим пьяным пиром. В конце лета того же года Толстой пишет Александру II письмо с прошением об отставке. 28 сентября он «уволен от службы, по домашним обстоятельствам, прежним чином статского советника, которым он служил до поступления на военную службу, с назначением на должность егермейстера». 15 октября уволен из Стрелкового баталиона. В декабре и до половины января 1862 года читает с огромным успехом на вечерних собраниях у императрицы роман «Князь Серебряный». По окончании чтений получает от императрицы массивный золотой брелок в форме книги, на одной стороне славянским шрифтом выведено её имя – «Мария», на другой – «В память Князя Серебряного». Внутри, на раскрывавшихся золотых пластинках-страницах – миниатюрные фотографии слушательниц. Весну 1862 года Толстой проводит с родными в Пустыньке. В журнале «Русский вестник» публикуется его «драматическая поэма» «Дон Жуан». В №№ 8–10 «Русского вестника» печатается роман «Князь Серебряный». Осенью Толстой уезжает в Германию.
3 апреля 1863 года в православной церкви Дрездена Толстой венчается с С.А. Миллер. Жена возвращается на родину. В этом же году открываются первые признаки астмы у Толстого, он лечится на курортах Германии.
В июне 1864 года в Карлсбаде Толстой встречается с И.А. Гончаровым. В июле в Швальбахе читает императрице и ея свите трагедию «Смерть Иоанна Грозного». В это же время любовная идиллия Толстого испытывает новые потрясения: у него продолжается охлаждение отношений с родственниками жены, которые, пользуясь добротой и нерасчётливостью Алексея Константиновича, становятся, по сути, его содержанцами.
Зимой 1865 года во время царской охоты в Новгородской губернии Толстой пытается заступиться перед Александром II за сосланного в Сибирь Чернышевского. Но – неудача и размолвка с императором.
В январе 1866 года в журнале