Однако доминирующее положение в пределах удела Перемышль теряет очень скоро; после строительства в Серпухове укреплений и основания Высоцкого монастыря, а также существенного расширения территории княжества на запад (в 1378 году, по просьбе митрополита Алексея, к владениям Владимира Андреевича были присоединены Боровск и Лужа) значение его падает. Уже в начале XV столетия он не рассматривается как престижное владение – князь Владимир завещает его младшему из своих пяти сыновей, Василию, в удел которому досталась небольшая территория на севере Серпуховского княжества.
Во 2-й половине XV – начале XVI вв. Перемышль перестает быть центром удела, оставаясь лишь местом сбора дорожных пошлин. Писцовые книги начала XVII в. фиксируют на месте бывшего города распахиваемое городище.
Возникновение и последующая история Перемышля Московского довольно показательны в контексте развития политической и экономической ситуации на западных рубежах Московского княжества. Построенный изначально как удельный центр и сильная крепость на стратегически важном направлении, он теряет свое значение в результате быстрого расширения контролируемых московскими князьями территорий. Оставшись далеко от границы, город в то же время слишком близко располагался к Москве, для того чтобы стать столицей крупного удельного княжения в условиях усиливающейся централизации, и находился далеко от Оки – основной торговой магистрали региона. Перемышль не мог конкурировать с приокскими городами – крупными торговыми и ремесленными центрами, что предопределило его постепенное запустение. В 1481 году в заточении в Угличе скончался последний князь Боровский – Василий, и Перемышль окончательно вошел в состав московских владений.
Остатки укрепленных феодальных усадеб, своего рода замков – другого вида археологических памятников – обычно характеризуются мощными оборонительными сооружениями при относительно малых размерах площадок, находками предметов вооружения и конского снаряжения, типичных для быта феодалов, стеклянных браслетов