Место, где жил Иван Рильский, было таким скалистым и неудобным, что лишь небольшое число иноков могло поселиться с ним. Но когда число их увеличилось, они нашли новое место для поселения, и через некоторое время дикая пустынная местность со своими высокими горами и неприступными ущельями и скалами превратилась в «место обительное» с могуществующей братией, во главе которой встал избранный ею игумен. Время от времени Иван Рильский приходил к ним, давал наставления, а потом вновь возвращался в свою пещеру. Монахи соорудили в ней храм, названный именем преподобного, в котором хранится и гроб его. Согласно устным преданиям, первоначально монастырь был построен в трех километрах от нынешнего его месторасположения. Первые насельники старались во всем подражать своему учителю, всячески соблюдая его иноческие законоположения, что благотворно сказывалось и на внешнем устройстве монастыря, хотя сначала он был невелик и все его здания были деревянными.
Достоверные данные о Рильском монастыре встречаются только с 1335 года, когда он находился во владении полунезависимого феодала Хреля. В этот год в целях обороны была возведена крепкая и мощная башня, которая должна была внушать страх врагам и покорность закрепощенному населению и в то же время украшать монастырь. Кроме защиты от неприятеля, башня должна была служить и удобным жилым помещением для феодала и его семьи. В первой половине XIV века в монастыре была возведена новая каменная церковь, а также обновлены и укреплены все здания.
Во второй половине XIV века на Балканский полуостров из Малой Азии двинулись турки, подвергая все на своем пути разграблению и опустошению. Благодаря тому, что монастырь стоял в стороне от дорог, по которым могли передвигаться турецкие войска, его положение было относительно безопасным. Но взятие турками в 1382 году Софии и битва на Коссовом поле осложнили положение монастыря, так как его связь с Тырновским царством была прервана. Монастырь вошел во владения кюстендилского феодала Константина, сделавшегося вассалом турецкого султана, что сильно встревожило братию. Через три года тогдашний игумен Дометиан приказал зарыть все монастырские ценности и древние рукописи в окрестностях. Тогда же был переписан и «Завет» Ивана Рильского, оригинал которого, спрятанный в неизвестном месте, не найден до сих пор.
Около 1395 (или 1396) года турки почти до основания разрушили и разорили монастырь: целыми остались только каменная церковь и Хрельова башня. Несколько десятилетий монастырь находился в запустении и скорее