Здесь переулок выходит к полностью перестроенному Ружейному переулку, сохранившему только одно старое здание – живописный жилой дом (№ 2), похожий на шкатулку, с двумя беседками в русском стиле на крыше, построенный в 1914 т. архитектором М.А. Исаковым. В этом переулке, название которого произошло от Ружейной (или Станошной) слободы, на месте № 3 стоял одноэтажный деревянный домик, где в 1858 г. после возвращения из сибирской ссылки поселился поэт-петрашевец А.Н. Плещеев, а на месте № 5–7 находился пансион преподавателя музыки Н.С. Зверева, воспитавшего замечательных композиторов и музыкантов Матвея Пресмана, Александра Скрябина, Сергея Рахманинова, которые так и назывались – «зверята».
Долгий переулок (с 1947 г. ул. Бурденко) почти под стать 1-му Неопалимовскому по длине – он, возможно, и стал так называться из-за своей протяженности, но, правда, есть и другое мнение о происхождении его названия: тут якобы владел землей некий конюх по фамилии Долгов.
Почти вся левая часть переулка занята мрачным зданием, начатым в 1987 г., а также строениями Военной академии имени Фрунзе, находящимися за Новоконюшенным переулком. Уцелело от старой застройки очень немного – невидный и архитектурно неинтересный дом под № 11, выстроенный в конце 1928 г. для жилищного кооператива «Заря», в котором жили знаменитые медики Н.Н. Бурденко, В.Н. Виноградов, М.И. Певзнер, и почти уже у конца переулка одна из архитектурных жемчужин города – дом № 23, выстроенный в 1818 г. для коллежского советника Г.А. Палибина, директора чертежной в Межевой канцелярии. При его реставрации (авторы В.А. Резвин и другие) были обнаружены редчайшие росписи по бумаге на потолках и стенах, которые бережно восстановлены, но они скрыты под штукатуркой, ибо раскрытие их нанесло бы им непоправимый вред. Были сохранены и уникальные двери и редкие изразцы… В этом доме теперь регулярно проводятся разнообразные выставки.
На правой стороне переулка сохранилось значительно больше интересных зданий. На доме № 8 помещена доска с надписью «памятник истории», напоминающая о том, что здесь в 1915–1921 гг. жил художник В.В. Кандинский. Он приобрел участок, на котором в 1914 г. выстроил большой доходный дом (проект архитектора Д.М. Челищева), где на шестом этаже для него была сделана квартира, соединяющаяся лестницей с мастерской, находившейся в угловой башне.
Эту квартиру можно определить по единственному в доме широкому трехчастному окну со стороны 3-го Неопалимовского переулка. Кандинский долгое время жил в Германии и только с началом Первой мировой войны был вынужден возвратиться в Россию. В то время его квартира была занята, и в июле 1915 г. он поселился на пятом этаже. Здесь он