По семейным преданиям, Александр Васильевич Потемкин отличался тяжелым характером, а следствием неравенства лет стала необузданная ревность. Сумасбродные подозрения довели его даже до желания опровергнуть брачный союз, от которого было пять дочерей и сын Григорий. Защитником Дарьи Васильевны стал двоюродный брат Потемкина – Григорий Матвеевич Козловский, президент Камер-коллегии. Однако смоленские помещики-соседи Глинки совсем по-другому рассказывали об удивительной семье светлейшего князя. Они вспоминали, что отца Григория Александровича любили и ценили во всем околотке за доброе сердце, за радушную ласку и за патриархальное гостеприимство; и для богатого, и для бедного соседа, у него для всех равно отворялись и двери его дома, и сердце. Мать же князя Таврического для родных и знакомых была законодательницей и в хозяйстве, и в нарядах домашнего изделия. (Тогда еще моды парижские были в необозримой дали от сельских приютов Смоленска.) Как бы то ни было, но соседи Дарьи Васильевны ценили ее здравый ум и доброе сердце, советовались с нею во всех своих семейных обстоятельствах. Без нее не улаживалось ни одно сватовство, ни одна свадьба. От нее перешло и к сыну искусство завораживать сердца приветливым взглядом и живым словом.
О детстве Григория Потемкина нам известно из устных преданий. Осенью, после уборки полей, наступала пора любимого тогдашнего дворянского удовольствия – охоты. Хозяева и гости имения травили зайцев, загоняли волков, захватывали живьем лисиц и, связанных, привозили в село. Часто охотники увлекались, и возвращаться домой бывало уже поздно. Тогда раскидывался лагерь и готовился ужин из пойманной дичи. Соседи, вспоминая затейливую шутку маленького Григория, еще долго рассказывали ее в длинные зимние вечера своим детям и внукам в назидание: «Однажды отец его отправился на охоту с родным дядею его. Охотники заполевались и в сумерки возвращались домой. Луна засеребрилась над лесом. Издали неслись звуки рогов, хлопанья арапниками и песни заливные, верные вестники веселого полевого разгула. Наш молодец, затеяв потешить юную удаль свою, принарядился в медвежью кожу в полном ее виде и притаился под лесом в кустах. На беду дяде довелось ехать прямо мимо этой медвежьей засады. Озорник выскочил, протяжно заревел, испуганный конь шарахнулся, и дядя во весь свой рост ринулся на землю. Крепко журили проказника, а он отвечал: волка бояться, так и в лес не ходить».
В 1746 г. отец Григория Потемкина умер, и воспитание он получил под руководством матери, хотя некоторые свидетельствуют, что уже в пятилетнем возрасте мальчика забрал в свою семью Г.М. Козловский. Обучать детей грамоте было принято лет с шести, обычно этим занимался кто-нибудь из церковного клира, а иногда и сами родители. В селе Чижево образование Потемкина и его сестер было поручено сельскому дьячку Семену Карцеву, начавшему свою службу в 1742 г. Он учил смышленого и любознательного