В доме находилось множество произведений искусства, причем один из залов так и назывался Картинным. Покупка картин чаще всего поручалась Ивану Петровичу Аргунову, о чем свидетельствуют сохранившиеся в домовом архиве распоряжения графа Петра Борисовича.
В южном флигеле Фонтанного дома находилась домовая церковь Святой великомученицы Варвары. Личные покои хозяев располагались рядом с церковью.
На первом этаже дома находились Кунсткамера, где были собраны разного рода диковинные вещи, и Ригскамора – комната для хранения коллекции оружия.
Жилые помещения располагались в мезонине и частично на первом этаже. За домом находился регулярный сад, главная аллея которого, со шпалерами красиво подстриженых деревьев, вела к воротам на Литейную улицу.
В саду в ту пору существовало несколько павильонов: Грот, Китайская беседка, Эрмитаж. В саду были устроены фонтаны, установлены мраморные скульптуры. Сад являлся миниатюрной копией парков императорских резиденций, созданных придворным зодчим Растрелли.
Строительство нового каменного дома завершилось в основном к 1750 году. Осенью 1750 года с разрешения духовных властей в Фонтанный дом перенесли антиминс из домовой церкви Святой великомученицы Варвары, существовавшей в Миллионном доме князей Черкасских с 1739 года. В этой церкви уже в Фонтанном доме 1 июля 1751 года крестили новорожденного сына владельцев – графа Николая Петровича Шереметева. Собственно, факт крещения новорожденного в домовой церкви и дает нам основание считать, что строительство и отделка дома к этому времени завершились, и он стал основным местом жительства семьи.
В начале 1760-х годов в доме графа Шереметева устраивались пышные пиры, маскарады и ставились любительские спектакли.
В зимний сезон 1765 года, когда старшая дочь была уже «на выданье», отец неоднократно устраивал «на нарочито сделанном театре» спектакли, где игрались переведенные с французского языка пьесы, причем роли исполняли актеры-любители – графы Шереметевы, графы Строгановы, графы Чернышевы, князья Хованские и Белосельские-Белозерские. Один из спектаклей посетила Екатерина II.
В «Записках» Порошина, воспитателя великого князя Павла Петровича, читаем от 1 февраля 1765 года: «…У графа Петра Борисовича Шереметева было сего дня ввечеру представлена в доме