Власть Разбойного приказа в основном действовала на территории европейской части России, не распространяясь на Поволжье, Сибирь и ряд отдельных регионов. Кроме того, в компетенцию этого учреждения входило управление московскими большими тюрьмами и местами заключения в провинции.
В первом упоминании Разбойной избы содержалась информация о ее местоположении. 11 декабря 1552 г. литовский посол Ян Гайко был приглашен на аудиенцию у митрополита. Въехав в Кремль на коне, он спешился на Соборной площади «против Пречистые (т. е. Успенского собора) и Грановитые палаты», потом, пройдя между Успенским собором через церковь Ризоположения, он через Малые ворота вошел в Малую палату резиденции митрополита. После аудиенции он был приглашен митрополитом к столу, которого он с приставом дожидался «в Розбойной избе на площади». При этом неясно, о какой площади идет речь в данном случае – о Соборной или об Ивановской. В контексте документа безымянное название площади употребляется в самом начале как в отношении Соборной площади, так и в отношении места расположения Разбойной избы. Необходимо также учесть и тот факт, что, вероятно, изба, в которой литовский посол дожидался стола, должна была находиться где-то относительно неподалеку от митрополичьих палат.
В 1540–1550 гг. Ивановская площадь еще не была местом, где располагались почти все приказы. Очевидно, что ситуация изменилась к концу 1560-х – началу 1570-х гг., когда Штаден однозначно помещает основные приказы (в т. ч. и Разбойный) на Ивановской площади, которая легко идентифицируется благодаря упоминанию о соседнем с ней Архангельском соборе. Все эти факты в совокупности позволяют предположить, что, по крайней мере в начале 50-х гг. XVI в. Разбойная изба могла располагаться не на том же месте, где было ее местонахождение в конце столетия при Борисе Годунове и в XVII в.
В 1591 г. для приказов было построено новое каменное здание П-образной формы. Его можно видеть на первом подробном плане Московского кремля (т. н.