Гораций Гинцбург был вхож к высшим чинам царской администрации и, по слухам, неоднократно вручал некоторым из них взятки, чтобы предотвратить введение новых ограничительных мер. По утверждению осведомленного журналиста Льва Клячко, министр внутренних дел граф Николай Павлович Игнатьев, автор крайне стеснительных для евреев Временных правил от 3 мая 1882 года, в том случае, когда ему были нужны деньги, придумывал новое ограничение для евреев и доводил это до сведения Гинцбурга. Неизменно следовала превентивная мера в виде конверта с кругленькой суммой, вручавшейся министру, после чего антиеврейский проект откладывался до следующей министерской нужды. Правда, другой современник утверждал, что Гинцбург отказался дать огромную взятку министру, заявив, что «евреи не будут платить за свои права». Возможно, это объяснялось и недоверием к Игнатьеву, которого турки в бытность графа послом в Константинополе прозвали Лгун-паша. А соотечественники характеризовали еще выразительней: «Игнатьеву врать – что собаке лаять».
Ходили слухи, что Гинцбург финансировал «Священную дружину» – тайное общество, созданное для борьбы с революционерами их же методами, вплоть до терроризма. После цареубийства 1 марта 1881 года некоторые высокопоставленные верноподданные, включая министра двора графа Иллариона Ивановича Воронцова-Дашкова, флигель-адъютанта графа Павла Петровича Шувалова, решили, что полиция со своими обязанностями не справляется и надо взяться за дело охраны царя и борьбы с революционерами самим. Любопытно, что одним из тех, кто независимо от столичных аристократов заявил, что с «анархистами надо бороться их же оружием», был не кто иной, как Сергей Юльевич Витте, служивший в то время в Киеве на Юго-Западных железных дорогах. Витте был вызван в Петербург, принес присягу на Евангелии в верности тайному обществу и отправлен обратно в Киев организовывать «пятерки». Затем будущего министра финансов отправили в Париж для контроля за осуществлением убийства одного из русских революционеров. Однако до дела не дошло, ибо в этот момент сообщество «взволнованных лоботрясов» (выражение Салтыкова-Щедрина), путавшихся под ногами у профессионалов сыска, было распущено по требованию департамента полиции.
Гораций Гинцбург входил в состав нескольких правительственных комиссий. В 1887 году он был приглашен экспертом в комиссию для рассмотрения законодательства о евреях под председательством бывшего министра