Особняк построен князем Барятьевым в девятнадцатом веке на месте боярского терема, сгоревшего во время московского пожара 1812 года.
Первый владелец особняка – герой Отечественной войны, князь Барятьев, происходил из рода знатного и древнего. Прадед его был боярином, спальником при Иване Грозном, состоял в тайном совете у государя и в делах военных отличился. Но по навету попал в опалу и был казнен. Жена боярина, больше жизни любившая мужа, не пережила его смерти и наложила на себя руки, повесилась в своей горнице.
Странное дело, но в доме, построенном на месте сгоревшего терема, история повторилась, только в иной интерпретации. Один из потомков Барятьевых, человек жестокий и желчный, женился несколько раз. Трех жен извел своим обращением, они недолго жили после замужества. А Барятьев недолго оставался вдовцом. Но четвертая его супруга не умерла тихо от какой-нибудь болезни или тоски, а бесследно исчезла. Слуги меж собой шептались, мол, задушил барин барыню и где-то в доме замуровал. С тех пор особняк обрел дурную славу.
А незадолго до революции 1917 года многих потряс новый таинственный страшный случай: единственный наследник огромного состояния, молодой красавец повеса Барятьев внезапно застрелился при загадочных обстоятельствах. Прибежавший на звук выстрела слуга увидел посреди зала распростертого на полу мертвого хозяина рядом с пустым черным гробом, неизвестно откуда взявшимся. Никто из прислуги не видел, как гроб попал в дом, хотя из дома никто никуда не отлучался.
После этого обыватели сразу вспомнили, что на месте особняка в незапамятные времена было болото, где погибло немало всякого разного люда. Терем построили, осушив болото, и то, что он сгорел, было дурным знаком. А последующие события это только подтвердили. Поползли слухи по всей округе, что это место нечистое, что дом облюбовали призраки и живут в нем, а живым там места нет. И вообще есть в этом особняке что-то зловещее и даже угрожающее.
В советское время в особняке попеременно располагалось много всяких организаций. Последней занимала апартаменты союзная контора по снабжению и сбыту каких-то изделий. Сотрудники организации, не знакомые с судьбой дома, время от времени чувствовали как бы постороннее присутствие и необъяснимый, безудержный страх, поэтому вечерами старались на работе не задерживаться.
Комнаты и залы особняка были поделены на кабинеты. Фрески на потолке замазаны белой краской, и лишь в некоторых местах остались изразцы и великолепная лепнина. И только начальство решилось навсегда избавиться от буржуазной старины и отделать все современным пластиком, как грянула перестройка, контору выселили, а у особняка нашелся хозяин – известный артист Альберт Барятьев.
Альберт по материнской линии оказался потомком князей Барятьевых и взял фамилию родительницы.
Вальяжный, импозантный красавец брюнет соответствовал своему имени – Альберт, что по-латыни означает «белый», потому что имел удивительную белую кожу, почти сияющую, как говорили поклонницы.
Альберту