Ставший в это время губернатором Вирджинии Томас Джефферсон высмеял явно догматическое поведение своего друга, но назначил его в Совет штата – консультативный орган при губернаторе. Мэдисон действительно стал ближайшим советником губернатора, все более приобретавшего общеамериканскую известность, которая распространялась на его друга. Оставаясь членом совета губернатора, Джеймс в 1781 г. отправился на Конгресс Конфедерации, каковой поначалу мыслились США. На его заседаниях он почти сразу выделился тем, что фактически отверг конфедеративный план и проект Конституции, предоставлявшей, по его мнению, слишком широкие права штатам. Мэдисон, как и небольшая группа делегатов, которых называли федералистами, выступал за создание сильного централизованного правительства со своими источниками финансирования, не зависящего от добровольных субсидий отдельных штатов. Свои предложения он аргументировал, в частности, тем, что штаты, включая его родную Вирджинию, всячески уклоняются от финансирования общеамериканских властей. По этому вопросу у него возникли разногласия с Джефферсоном, выступавшим за широкую автономию штатов. Разногласия, однако, не повлияли на близкие отношения политиков.
Разочарованный медлительностью в принятии фундаментальных решений, Мэдисон в 1783 г. покинул Конгресс и возвратился в свой штат. В том же году он был вновь избран в Палату делегатов и ежегодно переизбирался еще три раза. Здесь он особенно энергично добивался принятия закона о свободе вероисповедания и отделении церкви от государства. Несмотря на ожесточенное сопротивление приверженцев англиканской церкви, которая оставалась в Вирджинии, как и в других штатах, господствующей, Мэдисон, благодаря своему ораторскому таланту и логике, в конце концов добился принятия соответствующего закона в декабре 1785 г.
Вместе с тем Джеймс со все большей тревогой наблюдал, что централизованное государство, которое он считал необходимым создать, так и не возникло. В 1787 г. он изложил свои мысли в рукописи «Пороки политической системы Соединенных Штатов», в которой доказывал ошибочность статей Конфедерации и необходимость выработки новой Конституции. Он был в числе главных инициаторов созыва национального представительства, призванного выработать принципиально новый основной закон.
В результате в Филадельфии был созван Конституционный конвент, который выработал