Марья Денисовна Ермолова, урожденная Давыдова, в первом браке была за ротмистром Михаилом Ивановичем Каховским, рано умершим, от которого имела, как мы уже знаем, сына Александра. По свидетельству современника, родные братья по матери, Каховский и Ермолов, унаследовали именно от нее «редкие способности, остроту ума и, при случае, язвительную резкость возражений». Марья Денисовна была натурой незаурядной, особенно резко выделявшейся на фоне губернского общества Орла, где она оказалась с мужем после воцарения Павла I и последовавшего немедленного увольнения Петра Алексеевича со службы. Как вспоминал один из ее близких знакомых, она «до глубокой старости была бичом всех гордецов, взяточников, пролазов и дураков всякого рода, занимавших почетные места в провинциальном мире».
В характере Ермолова отчетливо проявились отцовское и материнское начала, придавшие ему с ранних лет особенный облик – гордость, независимость и вместе с тем скромность, серьезность. Отец, по словам мемуариста, одарил его «серьезным и деловым складом ума», а мать – «живым остроумием и колкостью языка, качествами, которые доставили ему громкую известность и вместе с тем наделали ему много вреда».
Воспитанный в духе уважения и даже преклонения перед всем русским – языком, обычаями, историей Ермолов никогда не кичился ни своим дворянским происхождением, ни заслугами предков. Это ему, любившему говорить о себе в третьем лице, принадлежат слова: «Алексей Петрович Ермолов не может иметь обширной родословной и разумеет свое происхождение ничего особенного в себе не заключающим». Но то была прежде всего дань скромности, которой он всегда в высшей степени обладал, воспринимая себя и свой род лишь как крохотную частицу огромного ствола России и ее пышной и разветвленной кроны.
Он хорошо помнил своих предков, свой родовой герб: щит разделен горизонтально на две части, из коих в верхней, в правом голубом поле, изображены три золотые пятиугольные звезды – одна вверху и две внизу; в левом, красном поле видна из облаков выходящая рука с мечом. В нижней части, в серебряном поле, поставлено на земле дерево, а по сторонам оного – лев и единорог. Щит увенчан обыкновенным дворянским шлемом с дворянскою на нем короною. Намет на щите голубого и красного цвета, подложенный золотом. Щит держат с правой стороны единорог и с левой лев. Но Ермолов никогда не преувеличивал цены голубой дворянской крови.
Род Ермоловых был заурядным дворянским родом, истоки которого следует искать не в выходцах из Золотой Орды, даже если они и были (впрочем, когда дальний родственник Ермолова подал в 1785 году