Семья Аракчеевых не была влиятельной; ее члены не занимали высокого положения в обществе и тихо жили в Тверской губернии. Однако Аракчеевы все же были дворянами и, таким образом, принадлежали к привилегированному слою помещиков, владевших крепостными, а таковыми были как богатейшие князья Российский империи, так и безвестные помещики, порой владевшие лишь несколькими акрами земли и горсткой крепостных. Род Аракчеевых был причислен к дворянскому сословию в марте 1695 г., когда Ивану Степановичу Аракчееву «за службу предков, и своего отца, и собственную в войну с Польшей» было высочайше пожаловано имение неподалеку от города Бежецка, который находился примерно между Москвой и Санкт-Петербургом. Впоследствии предки Аракчеева по мужской линии служили офицерами в армии. Один из потомков Ивана Степановича – Василий Аракчеев – дослужился до чина генерал-майора и отличился в знаменитой кампании фельдмаршала Миниха 1730 г. против турок и крымских татар; брат Василия, который был дедом Алексея, погиб во время той же кампании.
Отец Алексея, Андрей, ушел в отставку в 1762 г. в чине лейтенанта согласно указу Петра III, освобождавшему дворян от принудительной государственной службы, и поселился в своем имении Гарусово, примерно в ста километрах от Бежецка. Андрей никогда не был богат. За душой у него только и было что двенадцать крепостных, но он имел городской дом в Бежецке, куда переезжал каждый год вместе с семьей, чтобы спастись от суровой зимы. Его родственники, которые тоже жили в Тверской губернии, были более состоятельными. Их семья в целом владела более чем пятью сотнями крепостных в Бежецком уезде, и у жены Андрея было