Но в конце XVIII в. полотняная фабрика разоряется. Наследники продают ее другим владельцам, и в конце концов ее участок, фабрику, станки и оборудование, а вместе с ними и крепостных крестьян, приписанных к фабрике, приобретает в 1802 г. казна. Оборудование и крестьян потом продали за ненадобностью купцам Колокольникову и Грачеву (они имели фабрики неподалеку), а тамесовский дом предположили «чрез выстройку его сделать удобным ко вмещению войск».
Хамовнические казармы, комплекс которых состоит из трех одинаково решенных корпусов, предназначенных для трех батальонов, строили в 1807–1809 гг. (на фасаде здания две даты: 1807 и 1926; первая относится к началу строительства, а вторая – к реставрации), и, как предположили исследователи, автором их был архитектор Луиджи Руска, чей проект практически воплощал сын выдающегося зодчего М.Ф. Казакова – Михаил Матвеевич.
Летом 1812 г. в казармах формировались отряды Московского ополчения. В 1863 г. здесь устроили две полковые церкви – во имя апостолов Петра и Павла при Перновском и Несвижском полках, а в XX столетии напротив казарм сложили деревянную, прихотливо украшенную церковь (проект архитектора И.И. Бони) Сумского гусарского полка, освященную в честь св. Георгия Победоносца 5 декабря 1910 г. Она не сохранилась: вероятно, была разобрана в годы Гражданской войны. При советской власти здания Хамовнических казарм также использовались по своему назначению – в них находились казармы имени Л.Д. Троцкого, позже имени М.В. Фрунзе.
С правой стороны от них, почти вплотную, стоит здание бывшей полицейской части (№ 16), построенное, вероятно, после пожара 1812 г. Здание, как ни странно это может показаться, было одним из культурных центров Москвы, сюда приходили почти все знаменитые русские писатели и художники того времени: в квартире на втором этаже жил критик и полицейский врач Сергей Сергеевич Голоушев (писательский