В работах почитателей Мэдисона и некоторых исторических исследованиях его называют отцом современной американской Конституции. В этом можно увидеть преувеличение, так как она создавалась на основе предложений и компромиссов ряда законодателей, а затем представителей штатов, но тот факт, что Джеймс Мэдисон был одним из ее создателей, неоспорим. Специалисты подсчитали, что из семи статей конституции Мэдисону принадлежала по крайней мере 2-я, касающаяся полномочий президента страны.
Постепенно разногласия в среде ведущих политических деятелей американского государства усиливались. Все более четко оформлялись две группировки. Одна, руководимая Джефферсоном и представлявшая главным образом интересы Юга, выступала за продвижение США на запад, а во внешней политике за ориентацию на Францию. Вторая во главе с Гамильтоном в основном была связана с финансовыми домами Севера и требовала сохранения тесных отношений с Великобританией.
Хотя Мэдисон в борьбе за принятие федеральной конституции и особенно Билля о правах сблизился с Гамильтоном, по основным политическим позициям и по личным симпатиям он оставался связанным с Джефферсоном и другими вирджинскими политиками. Будучи избранным в Конгресс от своего штата, Мэдисон стал одним из главных оппонентов Гамильтона, в частности по вопросу о создании федерального банка, учреждение которого он и другие сторонники Джефферсона считали покушением на права штатов. В основном восторжествовали предложения Гамильтона, которые поддержали президент Вашингтон и его преемник Адамс. Джефферсон же при поддержке и помощи Мэдисона, Монро и других деятелей приступил к формированию политической партии, получившей название Демократическо-республиканской (позже ее стали называть Республиканской или, точнее, первой Республиканской, чтобы отличать от другой партии под таким же названием, возникшей много лет спустя).
На президентских выборах 1796 г. Мэдисон активно поддерживал кандидатуру Джефферсона. Правда, перед выборами последний предложил баллотироваться в президенты самому Мэдисону, но тот отказался от этой чести, понимая, что именно Джефферсон является лидером политической группировки, и считая, что сам он еще не созрел до занятия высшего поста (это мнение было высказано в ряде его писем). После поражения Джефферсона и избрания президентом Адамса неудача постигла и Мэдисона. Он не был избран в Конгресс и в 1797 г. отправился в свое имение Монпелье, где вел хозяйство и в то же время участвовал в местной политике, способствуя формированию структур своей партии в Вирджинии. Когда же в 1800 г. Джефферсон был избран на президентский пост, Мэдисон возвратился в большую политику, заняв пост государственного секретаря.
В сентябре 1794 г. 43-летний Мэдисон женился на 26-летней вдове Доротее (Долли) Тодд, с которой был знаком и ранее. Незадолго