Достойным поприщем для Ковалевского как политика и общественного деятеля могла стать Государственная дума. Работа в комиссиях первого русского парламента предоставляла возможность оказывать непосредственное влияние на формирование государственной политики. Посоветовавшись с В.О. Ключевским, политические воззрения которого были ему близки, Ковалевский принял решение выставить свою кандидатуру в Думу от Харьковской губернии. Ситуация для избрания складывалась благоприятно. Ковалевский вспоминал: «Так как никто особенно не стремился сделаться депутатом, опасаясь, как бы не навлечь тем самым на себя беды, то отношение было более или менее следующее: хочешь лезть в петлю, ступай – мы тебе препятствовать не будем».
Выступления Ковалевского в I Думе начались с обсуждения адреса в ответ на тронную речь царя в день открытия народного представительства 27 апреля 1906 года. Исходя из опыта западных демократий, Ковалевский предлагал включить в ответный адрес выражение признательности монарху со стороны народных представителей за дарованную им возможность участия в законодательной деятельности. Одновременно он настаивал на необходимости включения в адрес выражения готовности Думы к рассмотрению возможно большего числа государственных вопросов, в частности внешней политики России.
С каждым днем работы I Думы крупная фигура Ковалевского все чаще появлялась за думской кафедрой. «С верхних скамей, на которых я расположился с прочими членами от Харьковской губернии, меня пригласили пересесть на нижние, чтобы не тратить времени и быть поближе к трибуне», – вспоминал Ковалевский. «Учитель-депутат» – так отзывались о нем соратники. Неоднократно в заседаниях Ковалевский выступал со справками по истории парламентаризма и практике народных представительств в западных странах. Эти речи часто вызывали неоднозначную реакцию среди депутатов как «справа», так и «слева».
Независимость Ковалевского от какой-либо партийной программы (по выражению Милюкова, его «недисциплинированность») часто проявлялась в ходе думских заседаний. Так, пытаясь приостановить применение смертной казни на