По воспоминаниям И. В. Чернова, такой странный и причудливый образ жизни князя Волконского, конечно, был известен в Петербурге, и говорили, что его не раз вызывали в столицу, но Григорий Семенович прямо отвечал, что не поедет, потому что тотчас же по приезде умрет в тамошнем климате. В Оренбурге же особого вреда от него не было. Разве что, проходя по улицам, губернатор иногда бросал медные деньги в народ, особенно в большие праздники, а в его доме было много клеток с подаренными ему канарейками, соловьями и другими «певцами».
Но понемногу «оренбургское сидение» старику Волконскому все же наскучило, он все чаще поговаривал, как хорошо бы получить назначение, например, послом в Константинополь… Послом стать ему не довелось, но покинуть Оренбург пришлось: 26 декабря 1817 года Волконский был вызван в Петербург и назначен членом Государственного совета. С годами странности его не уменьшились. В книге княгини Е. Г. Волконской «Род князей Волконских» упоминается о том, как Григорий Семенович в Петербурге в карете цугом выезжал на базар и сам закупал провизию; сзади кареты, по бокам от ливрейных лакеев, висели гуси и окорока, которые он раздавал бедным. Будучи чрезвычайно богомольным (на портрете В. Л. Боровиковского он изображен с руками, положенными на Библию), он иногда останавливал свою карету, выходил и, посреди улицы становясь на колени, творил молитву.
Барон М. А. Корф в своих «Записках» называет князя Волконского «человеком известным в своем роде; ездя по петербургским улицам без мундира или сюртука, в одном камзоле и с непокрытою головою, он заходил на пути в каждую церковь, прикладывался к иконам и вообще старался подделываться во внешних приемах под все причуды и странности Суворова».
Б. Л. Модзалевский писал о Григории Семеновиче: «Старик был характера мягкого, добродушного, поэт в душе, страстный меломан… и знакомил оренбургских обывателей с творениями Марчелло, Палестрины, Перголеза, Страделла и др., а также с польского Козловского, русского Бортнянского. Волконскому всякая практика жизни была чужда. Он, кроме того, был со странностями, и здесь сказывалось ранение в голову,