В воспоминаниях прокурора С.П. Жихарева сказано, что Измайлову ничего не стоит «напоить мертвецки пьяными человек пятнадцать небогатых дворян-соседей, посадить их еле живых в большую лодку на колесах, привязав к обоим концам лодки по живому медведю, и в таком виде спустить лодку с горы в реку» А в «Дубровском» так говорится о забавах Троекурова: «Случалось, что в телегу впрягали пару медведей, волей и неволею сажали в нее гостей и пускали их скакать на волю божию».
Единственной защитой от Измайлова была сила. Обороняясь от набегов «соседушки», князья Вадбольские, например, выстроили на границе своих имений специальную деревеньку – Барьма, на краю которой была поставлена чугунная пушка, направленная в сторону Хитровщины. Барьма играла роль заставы, а пушка – оружия, при помощи которого сдерживались порывы измайловского своеволия. Все его соседи дух переводили, только когда Лев Дмитриевич уезжал на зиму в Москву, а уж с весны по осень так и жили – «настороже». Слухи о бесчинствах Измайлова дошли до столицы, и Александр I в марте 1802 года прислал тульскому гражданскому губернатору рескрипт: "До сведения моего дошло, что отставной генерал-майор Лев Измайлов, имеющий в Тульской губернии вотчину, село Хитровщину, ведя распутную и всем порокам отверзтую жизнь, приносит любострастию своему самые постыдные и для крестьян утеснительнейшие жертвы. Я поручаю вам о справедливости сих слухов разведать без огласки и мне с достоверностью донести без всякого лицемерия, по долгу совести и чести". Результаты расследования остались тайной, но генерал Измайлов на некоторое время утихомирился, взбрыкивая лишь время от времени. Измайлов ловко справился и с проблемой "игриц", которых ему хотелось беспрерывно менять: он запретил своим крестьянам и дворовым жениться. Скоро оказалось, что многие молодые девки и парни блудят, а защищать блудниц от барских притязаний крестьянский мир уже не поднимался. Оставалась надежда, что генерал остепенится после свадьбы. Но в богатом приданом он не нуждался, а влюбившись в жену одного из окрестных помещиков, попросту отнял ее у мужа. Жаловаться тот не решился, поскольку все знали, что у Измайлова в столице многочисленные друзья-сановники. В 1806 году он приехал в гости к рязанскому губернатору Д. С. Шишкову. За столом Измайлов несколько раз довольно резко высказался о текущих политических делах. Крамольные речи, в отличие от истязаний крестьян и глумления над соседями, могли попасть в разряд государственных преступлений. Губернатор попытался остановить Измайлова, объяснив, что в его присутствии такие речи говорить невозможно – он начальник губернии и генерал состоит у него под негласным надзором. Измайлов вскочил на коня и ускакал в Петербург. Итогом его поездки стало смещение губернатора Шишкова. Теперь уже все дворянство губернии убедилось, что в округе сильнее генерала Измайлова никого нет, и с воодушевлением и хвалебными одами его избрали рязанским губернским предводителем