Особняк, названный Молдавией, располагался в нескольких шагах от ричмондских рынков табака и хлопка. Тем временем рабов покупали и продавали всего через несколько улиц отсюда. Купив особняк в июне 1825 года, Джон Аллан обеспечил себе место среди элиты Ричмонда и самопровозглашенной южной аристократии. Белые колонны и купола самых больших зданий города напоминали об имперских строениях Греции и Рима. Трехэтажное здание с портиком, украшенным колоннами, демонстрировало рост Аллана от испытывающего трудности предпринимателя до владельца плантации и олигарха. Телескоп Эдгара, как и его портреты, роскошные драпировки и богатая мебель, заявляли о богатстве и вкусе. Он также интересовался миром фактов, что был так дорог Аллану – навигацией и картографией, имеющими решающее значение для трансатлантической торговли.
Десятилетиями ранее Аллан приплыл в Ричмонд из Шотландии, присоединившись к своему дяде Уильяму Галту, успешному торговцу. Вместе с партнером, Чарльзом Эллисом, Аллан начал импортировать товары для дома, ткани и журналы для состоятельных клиентов. Женился он на Фрэнсис Килинг Валентайн, дочери плантатора. В годы после войны 1812 года бизнес Аллана и Эллиса пошатнулся, однако после смерти дяди в марте 1825 года Аллан стал одним из богатейших людей Вирджинии. Он унаследовал три больших поместья «с принадлежащими к ним рабами, акциями и имуществом всех видов», а также кафедру Галта в Епископальной монументальной церкви Ричмонда.
Джон и Фрэнсис Аллан взяли двухлетнего Эдгара По в 1811 году, когда его мать, знаменитая актриса и «одна из самых красивых женщин Америки», умерла в Ричмонде. Во многих отношениях они относились к нему как к сыну и будущему члену правящего класса Вирджинии, дав ему надежду на получение собственного наследства. Однако Аллан отказался усыновить мальчика. Детство Эдгара превратилось в неустанное испытание в попытке заслужить любовь и признание приемного отца.
К лету 1825 года, когда По исполнилось шестнадцать лет, напряженность в отношениях между суровым патриархом и его подопечным возросла. Фрэнсис Аллан всегда заботилась об Эдгаре, и он отвечал ей взаимностью. Однако, к досаде Джона Аллана, Эдгар не проявлял склонности к деловой жизни – самое раннее стихотворение, написанное рукой По, появилось на листке бумаги, где Аллан рассчитывал сложные проценты по кредиту.
Аллан стал равнодушен к нежной и требовательной жене. По отношению к Эдгару он проявлял снисхождение, пренебрежение и гнев. Он был суровым воспитателем, порол мальчика за детские проступки. Временами он щедро одаривал его деньгами и подарками, но мог быть и необъяснимо скупым. Прежде всего, он никогда не позволял Эдгару