Когда патронов оставалось совсем в обрез, Карягин решился на отчаянный шаг. Он задумал пробиться к Шах-Булахскому замку, взять его штурмом и держаться до последнего. Глубокой ночью русские, положив на носилки раненых, снялись с места. Лошадей не хватало, и орудия пришлось тащить на себе. Наутро Карягин и его люди вышли к замку. Его небольшой гарнизон спал, в принципе не представляя себе, что кто-то способен его атаковать. Пользуясь растерянностью противника, русские в считанные минуты разбили артиллерийским огнем ворота и пробились внутрь. Едва наши заняли новые позиции, как под стенами оказалась вся огромная армия Аббас-Мирзы и приступила к осаде. Крупных запасов продовольствия в крепости не оказалось, и после четырех дней осады русские съели всех коней.
Карягин и в эту тяжелую минуту не утратил мужества и приготовился стоять до тех пор, пока все не умрут с голода. О сдаче замка он не помышлял, а ночью отправил армянина Юзбаша с заданием тайно пробраться сквозь персидские порядки и передать просьбу о помощи генералу Цицианову. Юзбаш блестяще выполнил поручение и не только добрался до Цицианова, но еще и вернулся в замок с провизией. К сожалению, у Цицианова людей было совсем немного и выделить помощь он не смог.
Еду разделили поровну, не делая различий между солдатами и офицерами, но ее хватило лишь на сутки. И тогда храбрый Юзбаш вызвался добывать продовольствие. Ему дали в подчинение несколько человек, и он провел несколько успешных вылазок. Это позволило отряду Карягина продержаться еще неделю. Незадачливый Аббас-Мирза вновь сменил тактику. На этот раз он решил подкупить Карягина, обещая всевозможные награды и почести, да еще и призывая его перейти на службу шаху. Карягин пошел на хитрость и взял четыре дня на размышление, причем потребовал от Аббас-Мирзы продовольствия. Так русский отряд, наконец-то, смог нормально поесть и подкрепить силы.
Когда время вышло, Карягин и его отряд скрытно покинули крепость и захватили другой укрепленный пункт – Мухрат, более удобный для обороны, чем Шах-Булах. Подвиг Карягина и его людей сорвал планы персов ударить по Грузии и дал время Цицианову стянуть в единый кулак силы, разбросанные на большой территории. А что касается героического отряда Карягина, то он в конце концов пробился к своим. Узнав об этом, царь наградил Карягина золотой шпагой с надписью: «За храбрость», а Юзбаша – медалью и пожизненной пенсией. Тяжко страдавший от множества ранений Карягин отказался уходить на покой, несколько дней спустя отправился на бой с армией Аббас-Мирзы и вновь совершил подвиг. Его батальон атаковал лагерь персов. Имя русского командира стало внушать противнику ужас, и когда они узнали, что появился Карягин, то они бросились бежать, оставляя орудия и знамена.
К сожалению, Карягин не дожил до победы в войне. Сказались ранения, полученные в битвах, и когда в 1807 году он заболел лихорадкой, организм не справился. Героя не