В 1792 году Бенджамин приобрел в безусловную собственность имение на 60 акров в Рохэмптоне и построил там усадьбу в соответствии со своим, как он считал, положением в обществе. В его дни она считалась «украшением этой части Суррея». Некоторые посетители удостаивали ее сравнения с Виндзорским замком. Окрестные холмы срезали, деревья пересадили, речки пустили по новому руслу, чтобы создать нужный ландшафт. Колонны и лестницы вытесали из прочного сиенского мрамора, и гости поднимались к дому, минуя стражу из массивных бронзовых статуй. В нем было множество гостиных и музыкальных салонов, бальный зал и даже частная синагога. Обеденный зал имел размер 60 на 40 футов и царствовал надо всеми помещениями дома. Бенджамин Голдсмид был блестящим хозяином и считал гостеприимство своим призванием. Среди почетных гостей за его столом бывали Питт, Нельсон и герцог Кембриджский, а праздник, который он задал в честь победы Нельсона в битве при Абукире, вспоминали с благоговейным трепетом и два года спустя. По словам современника, все это было исполнено «в великолепнейшем стиле, превосходившем все, чего тщились добиться где-либо еще… Его усадьба восхитительно озарялась фейерверками. По всему дому разносилась музыка и шум танцев с маскарадами и проч. с перерывами на закуски, которые развлекали его гостей почти сутки напролет».
Кое-кто полагал, что его приемы – часть той цены, которую должен был платить еврей, желая удержать свое место на социальной лестнице, но он и сам нуждался в обществе, чтобы совладать со своей глубокой меланхолией, которая с возрастом только ухудшилась из-за подагры. Это был крупный, тучный, ожиревший мужчина. Под ним подгибались колени, подворачиваясь внутрь. При движении его мучила одышка. Лежа на спине, он был беспомощен, как черепаха, и ему приходилось браться за толстый шелковый шнур, висевший над кроватью, чтобы с его помощью подниматься с постели по утрам. У него было красное лицо, и ему часто отворяли кровь, что ничуть не улучшило его характера. У него случались вспышки ярости, настолько тяжелые и неуправляемые, что какое-то время бывал как бы не в себе.
К концу жизни его уже нельзя было оставлять одного. У жены были свои комнаты, и у подножия его кровати должен был спать слуга. Однако Бенджамин еще мог быть веселым, приятным, добрым и щедрым хозяином для работников, филантропом, доходившим чуть ли не до сумасбродства. Он много тратил на благотворительность, и еврейскую и христианскую поровну. Он был одним из учредителей Морского приюта