Физическая наследственность Елены Петровны интересна в том отношении, что среди ее ближайших предков были представители исторических родов Франции, Германии и России. По отцу она происходила от владетельных мекленбургских князей Ган фон Роттенштейн-Ган. Со стороны матери прабабушка Елены Петровны была урожденная Бандре дю Плесси – внучка эмигранта-гугенота, вынужденного покинуть Францию вследствие религиозных гонений. Она вышла в 1787 году замуж за князя Павла Васильевича Долгорукого, и дочь их, княжна Елена Павловна Долгорукая, в замужестве за Андреем Михайловичем Фадеевым, была родная бабушка Елены Петровны и сама воспитывала рано осиротевших внучек. Она оставила по себе память замечательной и глубоко образованной женщины, необыкновенной доброты и совершенно исключительной для того времени учености; она переписывалась со многими учеными, между прочим с президентом Лондонского географического общества Мурчисоном, с известными ботаниками и минералогами, один из которых (Гомер де-Гель) назвал в честь ее найденную им ископаемую раковину Venus-Fadeeff. Она владела пятью иностранными языками, прекрасно рисовала и была во всех отношениях выдающейся женщиной. Дочь свою Елену Андреевну, рано умершую мать Елены Петровны, она воспитывала сама и передала ей свою талантливую натуру; Елена Андреевна писала повести и романы под псевдонимом Зинаиды Р. и была очень популярна в начале 40-х годов; ее ранняя смерть вызвала всеобщее сожаление, и Белинский посвятил ей несколько хвалебных страниц, назвав её «русской Жорж-Занд».
О семье Фадеевых мне пришлось много слышать от Марьи Григорьевны Ермоловой, обладавшей необыкновенно отчетливой памятью и знавшей хорошо всю семью, когда последняя жила в Тифлисе, где муж г-жи Ермоловой был губернатором в 40-х годах XIX столетия. По ее отзывам, юная тогда Елена Петровна была блестящая девушка, но крайне своевольная, никому и ничему не подчинявшаяся, а семья ее дедушки пользовалась прекрасной репутацией, и бабушку Елены Петровны ставили так высоко за ее выдающиеся качества, что «невзирая на то, что сама она ни у кого не бывала, весь город являлся к ней на поклон».