Историк Серго Микоян отмечал: «Уйти с работы в Политбюро можно было только в мир иной. Единственный, кто сумел это сделать и не погибнуть, – Андрей Андреевич Андреев. Это стало возможным потому, что он потерял слух. Носил слуховой аппарат. Но они тогда очень мало помогали. И тогда, кажется, в 1950 году, сказал Сталину, что ему неудобно оставаться в Политбюро, ибо он не в состоянии участвовать в обсуждениях. Сталин его отпустил на покой – в Верховный Совет РСФСР, – не тронув. Другого такого случая не знаю».
Был объявлен жертвой кремлевских «врачей-убийц», умышленно сделавших его глухим.
Маленького роста, инфантильный. Сплевывал прямо на пол. Увлекался охотой. С марта 1953 г. по июнь 1962 г. член Президиума Верховного Совета СССР. На июльском (1953 г.) Пленуме ЦК КПСС, обсуждавшем «дело Л. П. Берии», предлагал: «Из этого мерзавца надо вытянуть все жилы, чтобы была ясная картина его отношений с заграницей, кому и как он служил…» На этом же Пленуме заявил, что звучавшие в зале мотивы о культе личности не имеют под собой никакой основы: «Он начал дискредитировать имя товарища Сталина, наводить тень на величайшего человека после Ленина. Откуда-то появился вопрос о культе личности. Это проделки Берия… Нельзя подрывать учение товарища Сталина… Учение Сталина вечно и непоколебимо…» На июньском (1957 г.) Пленуме ЦК КПСС, осудившем «антипартийную группу», обвинил Г. М. Маленкова в том, что он прикрывал Л. П. Берию, который, если бы не его покровительство, был бы разоблачен значительно раньше.
26 мая 1962 года Леонид Брежнев сообщил в ЦК КПСС: «По состоянию здоровья тов. Андрееву А.А. трудно выполнять постоянную работу. Он обратился с просьбой установило ему персональную пенсию, сохранить за ним право пользования центральной поликлиникой и столовой лечебного питания, дачей № 4 в посёлке Архангельское с обслуживанием, а также право пользования автомашиной за счёт государства. В беседе тов. Андреев А.А. выразил желание работать в Президиуме Верховного Совета СССР в качестве советника» (РГАНИ, ф. 3, оп. 62, д. 3, л. 79).
К слову, пенсию Андрееву установили в размере 450 рублей.
В 1965 году Анастас Микоян предложил Андреева в связи с 70-летием наградить орденом Трудового Красного Знамени. Однако член Президиума ЦК КПСС Николай Подгорный, получив проект Указа, выразил особое мнение: «За, но наградить орденом Ленина» (РГАНИ, ф. 3, оп. 62, д. 3, л. 97). Брежнев встал на сторону Подгорного.
Умер