Боязнь сказать что-нибудь невпопад, помноженная на нелюбовь к пустой болтовне, порождала молчаливость, необщительность, которую опять же расценивали, как презрение к окружающим. Эта маска была, своего рода, самозащитой, которая, однако, сыграла с Великим Князем злую шутку. Его внешнее спокойствие даже в самых отчаянных, трагических ситуациях (например, трагедия на Ходынке) порождало впечатление о его бесчувственности, равнодушии и непомерном самолюбии.
На деле Сергей Александрович был весьма чуток к людям. Причём отнюдь, не только к друзьям и родственникам. Будучи командиром, Преображенского полка, он не считал ниже своего достоинства посетить больного подчинённого, занести ему лекарство, успокоить родных. Многие Преображенцы вспоминали его заботу. Когда во время Русско-Японской войны в Москву прибыл раненый штабс-капитан Андреев, то бывший командир немедленно поселил его в дворцовом флигеле, вызвал хирурга, часто навещал, а на Рождество специально для больного офицера устроил ёлку.
Не сторонился августейший командир и общения с нижними чинами, вникая в их проблемы и стараясь решать их. Для улучшения положения солдат и унтер-офицеров Великий Князь пожертвовал из личных средств десять тысяч рублей. Князь Сергей всегда очень беспокоился о здоровье хворавших знакомых. Всем нуждающимся он давал бесценную святыню, доставшуюся ему от матери – чудотворную мантию Серафима Саровского, и узнавая об улучшении состояния болящих, радостно записывал в дневнике: «Мантия Серафима!»
Несмотря на всё это, однажды надетая маска вводила в заблуждение подчас даже близких друзей. Кроме повышенной чувствительности Сергею приходилось скрывать и нелёгкую болезнь позвоночника. Из-за этого он был вынужден носить корсет, от чего фигура его делалась скованной, а движения резкими. Это дало повод несведущим людям зубоскалить об «ужимках» Великого Князя.
Французский мыслитель Ларошфуко говорил, что многие поступки представляются людям странными лишь потому, что они не знают их подлинной причины. Подлинных причин, подлинных чувств Сергея Александровича не знал почти никто, а потому столь несправедливы были суждения о нём. Великий Князь не любил светского общества и не считал должным играть по его законам. Общество отвечало ему той же монетой.
Великосветские сплетники опускались до роспуска бессовестных слухов, порочащих Сергея Александровича. Между тем, словно ответом им, звучат строки из письма А.Ф. Аксаковой (Тютчевой) своему бывшему воспитаннику: «Вы не можете себе представить, как в том высоком положении, которое Вы занимаете, находясь у всех на виду, Вам благодарны за чистый, строгий и умеренный образ жизни. Это как бы удовлетворение общественной совести