В 1771 году он и сам надолго отправился за границу «для лечения», как это тогда называлось, а вскоре после возвращения был уволен в отставку – фавор братьев Орловых кончился. Свое владение домом на Миллионной Владимир Григорьевич отметил, как видно из письма историка искусства Я. Штелина, незначительными переделками по проекту академического архитектора М. П. Павлова, но внешний вид здания они не затронули. В 1775-м В. Г. Орлов навсегда покинул Северную столицу, перебравшись в Москву, но дом ему удалось продать лишь через два года.
Новая владелица, графиня М. Н. Скавронская, была замужем за двоюродным братом покойной императрицы Елизаветы и по причине такого родства имела придворное звание статс-дамы. Незадолго перед тем она овдовела и остаток жизни провела по большей части в чужих краях. О своем петербургском особняке графиня заботилась мало, и при ней он остался таким же, как при В. Г. Орлове.
М. Н. Скавронская
Впрочем, одно важное изменение произошло: 1 января 1797 года М. Н. Скавронская продала, как сказано в купчей, «свой маленький каменный дворик» управляющему придворной капеллой Д. С. Бортнянскому. С тех пор почти на целое столетие дом № 9 отделился от «старшего брата» и начал самостоятельное существование.
Дмитрий Степанович Бортнянский (1751–1825) – земляк графа А. А. Безбородко, родом, как и тот, из украинского местечка Глухова, но прославился на совершенно ином поприще. Попав семилетним мальчиком в придворные певчие, он благодаря прекрасному голосу и привлекательной внешности обратил на себя внимание государыни Елизаветы Петровны, но в силу его малолетства сей факт не мог иметь для него далеко идущих последствий. Гораздо важнее оказалось то, что выдающиеся музыкальные способности юного певчего заприметил придворный капельмейстер и композитор Галуппи. Он занялся его образованием, а затем настоял на отправке Бортнянского за границу. Случилось это уже в царствование Екатерины II, в 1768 году.
Целых одиннадцать лет Дмитрий Степанович провел в Италии, в совершенстве овладев техникой композиции, и даже приобрел там известность как автор опер и кантат. Очевидно, в Италии он и свел знакомство с графиней Скавронской, у которой позднее купил часть участка на Миллионной. К тому времени Бортнянский уже завоевал себе прочное положение на родине, приведя порученный ему придворный хор в превосходное состояние. Помимо капельмейстерских обязанностей, он должен был сочинять духовные хоровые произведения, чем навеки прославил свое имя. До сих пор в православных храмах и концертных залах звучит его музыка и так же волнует слушателей, как и два века назад.
Около тридцати лет прожил Дмитрий Степанович в домике на Миллионной, сохранявшем милый, скромный облик; казалось, он впитал светлую душу своего хозяина. Все, знавшие композитора, отзывались о нем самыми теплыми словами, а певчие просто обожали его. По преданию, в день смерти, 28 сентября 1825 года, Бортнянский призвал к себе хор капеллы и попросил исполнить