Родился Брусилов 19 августа 1853 г. в Тифлисе в семье генерала. В своих воспоминаниях он так описывает родителей и детские годы:
«Мой отец был генерал-лейтенант и состоял в последнее время председателем полевого аудиториата Кавказской армии. Он происходил из дворян Орловской губернии. Когда я родился, ему было 66 лет, матери же моей – всего лет 27–28. Я был старшим из детей. После меня родился мой брат Борис, вслед за ним Александр, который вскоре умер, и последним брат Лев. Отец мой умер в 1859 году от крупозного воспаления легких. Мне в то время было шесть лет, Борису четыре года и Льву два года. Вслед за отцом через несколько месяцев умерла от чахотки и мать, и нас, всех трех братьев, взяла на воспитание наша тетка, Генриетта Антоновна Гагемейстер, у которой не было детей. Ее муж, Карл Максимович, очень нас любил, и они оба заменили нам отца и мать в полном смысле этого слова.
Дядя и тетка не жалели средств, чтобы нас воспитывать. Вначале их главное внимание было обращено на обучение нас различным иностранным языкам. У нас были сначала гувернантки, а потом, когда мы подросли, гувернеры. Последний из них, некто Бекман, имел громадное влияние на нас. Это был человек с хорошим образованием, кончивший университет; Бекман отлично знал французский, немецкий и английский языки и был великолепным пианистом. К сожалению, мы все трое не обнаруживали способностей к музыке и его музыкальными уроками воспользовались мало. Но французский язык был нам как родной; немецким языком я владел также достаточно твердо, английский же язык вскоре, с молодых лет, забыл вследствие отсутствия практики».
Сыну потомственного военного была предопределена типичная судьба молодых людей его круга – офицерская карьера. Для потомственного дворянина были открыты двери любой военной школы. Получив хорошее домашнее образование, Брусилов был зачислен в элитный Пажеский корпус на старшие курсы, и в 1872 г. был выпущен прапорщиком в 15-й драгунский Тверской полк, стоявший на Кавказе. Этот полк имел особые традиции. Основанный в 1798 г. как Тверской кирасирский, он вскоре был переформирован в драгунский и принял участие в наполеоновских войнах. Полк отличился в сражении при Аустерлице и в русско-турецкой войне 1806–1812 гг., за отличные действия в Крымской войне (дело при Кюрюк-Дара в 1854 г.) был награжден Георгиевским штандартом. С 1849 г. шефом полка являлся брат императора Николая I великий князь Николай Николаевич-старший, и офицеры полка постоянно испытывали на себе высочайшее внимание, которое нередко сказывалось на их служебном продвижении.
Брусилов участвует в русско-турецкой войне 1877–1878 гг., отличается при штурме крепости Ардаган и взятии Карса, заслужив три боевых ордена. С 1881 г. продолжает службу в офицерской кавалерийской школе Петербурга, растет в чинах до полковника, назначается заместителем начальника школы. По протекции командующего гвардии великого князя Николая Николаевича-младшего (сына шефа Тверского драгунского полка) Брусилов в 1901 г. производится в генерал-майоры, а через год становится начальником школы. В годы русско-японской войны (1904–1905) Алексей