По свидетельству современников, многие из красивейших девушек театральной капеллы князя были его любовницами. Сохранился портрет 1821 года крепостной певицы Анны Боруновой, которая состояла «барской барыней». Восьмидесятилетний князь взял себе в наложницы восемнадцатилетнюю крепостную балерину Софью Малинкину. С 1812 года у Н.Б. Юсупова была на содержании юная балерина Екатерина Колосова. О ней поведала отрытая недавно из земли мраморная плита в селе Спас-Котово (ныне город Долгопрудный), где похоронен князь Н.Б. Юсупов. От Юсупова у Екатерины Петровны родились два сына, Сергей и Петр. Князь придумал им фамилию Гирейские – в память о крымских ханах Гиреях, предках князей Юсуповых. Е.П. Колосова умерла всего 22-х лет от роду, а сам Николай Борисович прожил 81 год! Неизвестно, сколько бы еще прожил любвеобильный князь, если бы не эпидемия холеры, от которой он и скончался.
С князем связаны многие детские воспоминания А.С. Пушкина. С 1801 по 1803 год западную часть Юсуповских палат (флигель) в Большом Харитоньевском переулке снимал отец поэта – Сергей Львович Пушкин. Дом, где жила пушкинская семья, сохранился, он был надстроен третьим этажом в 1891 г. и тогда же соединен со старыми палатами. Сейчас он составляет крайнюю левую часть современного здания.
Напротив дворца был разбит знаменитый Юсупов сад, огороженный каменной стеной. Были здесь мраморные статуи, беседки, искусственные руины, «порфирные скалы», аллеи, затененные плющом, оранжереи, овальный пруд и изысканный фонтан на пересечении аллей. В саду рос огромный дуб, обвитый золоченой цепью, по которой поднимался вверх и спускался вниз огромный пушистый игрушечный кот с зелеными глазами, сконструированный голландскими механиками, при этом кот еще и разговаривал, но по-голландски, а из водоема поднимались фигуры богатырей… По семейному преданию, маленький Пушкин, гуляя в саду с няней, пообещал перевести рассказы кота на русский язык. Возможно, эти детские впечатления нашли свое отражение в поэме «Руслан и Людмила».
В пушкинской автобиографии «Юсупов сад» упоминается как одно из самых ранних незабываемых впечатлений. Маленький Саша часто играл в саду, ходил с взрослыми на службу в церковь Св. Харитония, гостил в скромной усадьбе в Малом Харитоньевском, 7, которую еще в 1797 году приобрела после смерти мужа бабушка поэта Ольга Васильевна.
В своем творчестве Пушкин не раз обращается к этим местам. Так, по одной из московских легенд, на углу Большого и Малого Харитоньевских переулков до войны находился деревянный домик, в народе называемый «Ларинским» или «домом Татьяны», упомянутым в седьмой главе «Евгения Онегина». В поэме именно здесь останавливается Татьяна Ларина с матерью, приехавшая «в Москву на ярмарку невест».
По словам исследователей, Татьяна Ларина имеет родственные связи с княжеским родом Юсуповых: ведь она приехала в Москву в гости к тетке, княжне Алине. Любопытно, что в 20-е годы XIX века в Юсуповском дворце действительно жила княжна Алина, сестра Николая Борисовича – Александра Юсупова. Существует также