На выборах во II Думу Ковалевский потерпел неудачу. Он считал ниже своего достоинства «корректировать» убеждения в зависимости от ситуации, и его принципиальная, демократическая позиция по аграрному вопросу показалась землевладельцам Харьковского уезда настолько революционной, что они открыто стали агитировать против, используя также недоброжелательное отношение к Ковалевскому правительственных кругов. В итоге Ковалевскому не хватило трех голосов, чтобы пройти в выборщики от Харьковской губернии.
Возвратившись в Петербург, Ковалевский принял предложение П.Б. Струве выставить свою кандидатуру от Петербурга по кадетскому списку. Ситуация на этот раз складывалась поначалу благоприятно для Ковалевского. Однако выбор его от Петербурга вскоре был кассирован властями под тем предлогом, что ему недостает нескольких дней для того, чтобы считаться проживающим в Петербурге полный год.
Не имея возможности попасть в Думу, Ковалевский связывал надежды на продолжение своей общественной деятельности с участием в работе Государственного совета. Несмотря на сопротивление властей, 8 февраля 1907 года он был избран членом верхней палаты парламента от академической курии. В Государственном совете Ковалевский стал лидером «прогрессивной группы», куда входили либерально настроенные представители науки, юриспруденции, торговли.
Роспуск II Государственной думы Ковалевский воспринял как личную трагедию. «Нигде, кажется, не найду убежища от тягостного чувства, что дело свободы в России проиграно, – писал он А.И. Чупрову, – что желание одних всякими средствами добиться сразу создания социальной республики и неискренность других привели к восстановлению порядков Плеве. Долго ли еще предстоит мне лаяться в Петербурге, не знаю. Столыпинская банда меня терпеть не может, черносотенцы, разумеется, идут так же далеко в своей ненависти. А так как ближайшее будущее принадлежит тем или другим, то мои дни в России сочтены».
Современники особо отмечали речи Ковалевского в Государственном совете по вопросам судебной реформы, где он выступал сторонником суда присяжных, отстаивал принцип подсудности должностных лиц на общих основаниях. Позиции здравого смысла определяли его подход к решению проблем национально-государственного