Племянник Семена Михайловича Аргунова Федор Леонтьевич (1718 – 1754) жил с семьей дяди в Петербурге, он известен как иконописец и как светский художник, учившийся у известного живописца петровского времени А.М. Матвеева.
Другой его племянник, Иван Петрович Аргунов (1729 – 1802), после смерти своего дяди и двоюродного брата также служил управителем Миллионного дома, а с 1788 года был назначен управителем московского дома и членом крепостной коллегии, в которую входили управители всех шереметевских вотчин. Однако в историю русского искусства он вошел как выдающийся художник-портретист и педагог. Им написаны множество портретов членов рода Шереметевых и их родственников. Ныне его работы украшают многие музеи нашей страны. Имея свою мастерскую, он не только мог работать сам, но обучал молодых художников. Среди его учеников кроме сыновей и трое «спавших с голоса» певчих Придворной капеллы – А.П. Лосенко, К.И. Головачевский и И.С. Саблуков, ставших со временем известными русскими художниками.
Сыновья Ивана Петровича продолжили художественные традиции семьи. Павел Иванович Аргунов (ок. 1768 – 1806) стал архитектором, работал и при перестройках Фонтанного дома, на сооружении Останкинского дворца и других возводимых Шереметевыми сооружений. Николай Иванович Аргунов (1770 – 1828) не менее отца известен как портретист. Яков Иванович Аргунов (1784 – после 1837) также работал как портретист и график. Из этой же семьи происходил Алексей Аргунов – «урный мастер», лепщик и каменщик, создававший вазы для украшения садов и интерьеров домов.
Фонтанный дом дошел до нас не совсем в том виде, какой он получил к 1750-м годам. Процесс строительства дома и его последующих перестроек изучали многие исследователи. В 1928 году большую статью на эту тему опубликовал историк архитектуры Н.Е. Лансере, она и сейчас не потеряла своей научной и познавательной ценности. После Великой Отечественной войны, когда предстояла реставрация пострадавшего в годы блокады здания, историю дома изучал другой историк архитектуры П.Н. Петров. Он является автором исторической справки на дом как на памятник архитектуры XVIII века, написанной по заказу Государственной инспекции по охране памятников. В 1990-х годах эту же тему тщательно разрабатывал историк архитектуры Б.М. Матвеев, он написал историческую справку к проекту реставрации дворца, начавшейся в середине 1990-х годов. В процессе исследования он обнаружил немало важнейших документов, которые уточнили многие факты и открыли новые, прежде неизвестные страницы архитектурной истории Фонтанного дома. Перед началом реставрационных работ 1990-х годов проводились археологические обследования территории сада и самого дома, в результате подтвердились некоторые предположения историков и появились совершенно новые данные.
Итак, Фонтанный дом в середине XVIII века представлял собой каменное двухэтажное здание с мезонином. Центр дома обозначал выступающий вперед ризалит, два боковых флигеля выходили в сад. В целом получилась типичная П-образная объемно-пространственная композиция,