Славу усадьбе Карачарово принес именно князь Г.Г. Гагарин. Помещица С.А. Дашкова в 1858 г. купила у наследников помещика Г. Сонн имение Карачарово. Вскоре С.А. Дашкова вышла замуж за князя Г.Г. Гагарина, и они стали жить здесь. Гагарин был влиятельным, уважаемым и состоятельным человеком, вице-президентом Петербургской Академии художеств (в 1859–1872), действительным и почетным членом Русского археологического общества (с 1878). Он был талантливым рисовальщиком, живописцем, неутомимым исследователем искусства. В 1832 г. 22-летний князь познакомился на балу у князей Вяземских с 33-летним А.С. Пушкиным, стал одним из первых иллюстраторов произведений поэта (например, его акварель на мотивы стихотворения «Перед испанкой благородной…» ныне можно увидеть в Торжке в музее А.С. Пушкина). Из-под пера художника вышли иллюстрации к произведениям А.С. Пушкина – поэмам «Кавказский пленник», «Пиковая дама», «Песнь о вещем Олеге», стихам. Рисовал Гагарин и друзей, своих и поэта. Сохранился сделанный им в 1833 г. портрет Анны Алексеевны Олениной (1808–1888), которая вдохновила Пушкина на создание нескольких великолепных лирических стихотворений, ставших шедеврами русской поэзии. Г.Г. Гагарин в 1834 г. познакомился с М.Ю. Лермонтовом, вслед за ним поехал на Кавказ, куда был сослан поэт. На Кавказе князь Гагарин (какое-то время жил с Лермонтовым в одной палатке) написал ряд картин из жизни народов Кавказа, изобразил батальные сцены Кавказской войны, создал портреты людей из окружения Лермонтова и даже доделывал рисунки поэта. Гагарин участвовал в боях против горцев и за храбрость получил орден Святой Анны III степени с бантом. В конце 1830-х гг. появились рисунки Гагарина «Демон», «Казак Зотов и др.». Гагарин вошел в историю прежде всего как иллюстратор произведений А.С. Пушкина, М.Ю. Лермонтова, ряда других поэтов и писателей. Гагарин в 1858–1893 гг. неоднократно приезжал в Карачарово. Он умер во Франции, но по его завещанию был похоронен в России, недалеко от его усадьбы Карачарово.
О князе Григории Григорьевиче Гагарине (1810–1893) в наши дни в Карачарово напоминает 2-этажный дом с барельефом, возведенный в XVII в. в виде итальянской виллы, где жила семья Гагариных.
Г.Г. Гагарин был не только художником,