Сохраняя любовь к воинской службе и преданность родному полку, Анатолий Мордвинов, в свое время написавший его историю25, в 1921 г. вступил в объединение лейб-гвардии Кирасирского Ее Величества полка26 и являлся одним из первых его членов. Находясь в эмиграции, Мордвинов продолжал поддерживать контакты со многими представителями великокняжеских семей, с которыми он был ранее хорошо знаком во время службы в полку и проживанию с семьей в Гатчинском дворце.
В годы эмиграции особенно активную переписку он вел с великой княгиней Ольгой Александровной, которая была крестной матерью его дочери Марии. «…Прошло уже более 15 лет, как я видел ее в последний раз. Но мы находимся с ней в постоянной переписке. Это был и остался для меня и моей семьи друг, в полном объеме этого слова, который действительно никогда не забудет и никогда не изменит», – писал он. Сохранил Анатолий Мордвинов дружескую связь и с герцогом Георгием Николаевичем Лейхтенбергским, который проживал тогда в своем родовом замке Зеон в Баварии. Именно Георгий Лейхтенбергский в 1927 г. пригласил к себе Мордвинова, чтобы тот мог встретиться и высказать свое мнение о находившейся у него в замке девушке, называвшей себя великой княжной Анастасией Николаевной, избежавшей смерти при убийстве императорской семьи в Екатеринбурге.
Остаток жизни Анатолий Александрович провел в Баварии, в небольшом городке Оберстдорф в окружении родных – жены Ольги и дочери Марии. В 1925 г. она приехала к ним из Англии, где несколько лет проработала швеей, зарабатывая на скромную жизнь. 19 января 1940 г. полковник Мордвинов скончался на руках у близких и был похоронен на кладбище Вальдфредхоф (Waldfriedhof) в Оберстдорфе. Ольга Карловна, оставшись одна, жила в доме вместе с подругой Маргаритой Буш, также в свое время эмигрировавшей из Петербурга и находящейся в Германии по нансеновскому паспорту, и дочерью, которая работала воспитательницей в детском доме. В 1952 г. Ольга Карловна, стремясь обеспечить старость подруге, завещала одну треть дома ей и одну треть – дочери Марии. 17 декабря 1953 г., пережив мужа на 13 лет, она тихо скончалась в местной больнице и была похоронена рядом с А. А. Мордвиновым.
В 1955 г., после того как Маргарита Буш выехала из дома, Мария продала его, а вырученные средства потратила на строительство детского санатория. Мария Мордвинова так и не вышла замуж и не оставила потомства. Она умерла 18 июля 1971 г. и была похоронена рядом с родителями. Поскольку в течение многих лет могила Мордвиновых оставалась без ухода и оплаты, в 1986 г. на ее месте было сделано новое захоронение.
А. А. Мордвинов оставил после себя большие по объему мемуары. Писать их он начал в начале 1920-х годов. Вести дневник, по утверждению автора, он начал после его разговора с императрицей Александрой