Палаты Толстого приглянулись ближайшему помощнику Меншикова Алексею Волкову, обер-секретарю Военной коллегии. Напомним, что сам Меншиков к тому времени стал генералиссимусом, а фактически был правителем России при малолетнем Петре II (вспоминаются пушкинские строки о Меншикове из «Полтавы»: «Счастья баловень безродный, полудержавный властелин»). Но пожить в палатах Волков, два десятка лет служивший своему патрону верой и правдой, не успел. Не прошло и трех месяцев, как уже в сентябре 1727 года Меншикова отправляют вслед за Толстым, только не на Соловки, а в Березов Тобольской губернии. Как только яркая звезда Меншикова закатилась, сгустились тучи и над его обер-секретарем. И по какой-то неведомой причине с тех пор к зданию словно прилепилось название «палаты Волкова», заметим, не Шафирова с Толстым, а именно Волкова.
Словно проклятие висело над старыми палатами – бывшие хозяева один за другим отправлялись кто в ссылку, а кто и в тюрьму. Москвичи даже стали косо поглядывать в сторону дворца – кто следующий? Однако охота пуще неволи, и вот уже здесь обживается новый владелец. Им оказался князь Григорий Дмитриевич Юсупов. Он челом бьет Петру II, буквально выпрашивая себе волковские палаты. А Волкова в своем доносе-прошении он называет «согласником» во всех «непорядочных и худых проступках князя Меншикова». «Ныне, – просит Юсупов, – у него, Волкова, оный двор описан на Ваше ж Императорское Величество, а я, нижайший, двора своего в Москве не имею, а другим многим моей братьи в Москве дворы с каменным строением всемилостивейше пожалованы. Всемилостивейший Государь, прошу дабы Вашего Императорского Величества указом за многие мои службы вышеобъявленным двором повелено было пожаловать меня нижайшего». Прошение князя было удовлетворено. С 1727 года Юсуповы владели палатами