Алиханов защитил докторскую диссертацию в 1935 году.
Также в 1939–1941 годах он был преподавателем и заведующим кафедрой физики Ленинградского института инженеров железнодорожного транспорта. В начале Великой Отечественной войны вместе с институтом уехал в Казань, а в 1942–1943 годах Алиханов с группой сотрудников находился в командировке в Армении, организуя работы по физической тематике и участвуя в создании Армянского физического института.
В 1941 году вместе с братом получил Сталинскую премию второй степени за научные работы по исследованию радиоактивности, опубликованные в 1936, 1938 и 1940 годах.
В 1943 году стал участником советского атомного проекта, одним из ведущих создателей первой советской атомной бомбы. Сначала был зачислен в Лабораторию № 2 Института физических проблем АН СССР. В августе 1945 года был утвержден в должности ученого секретаря Технического совета Спецкомитета Государственного Комитета Обороны (затем – Первого Главного Управления (ПГУ) при Совете Министров СССР). С 9 апреля 1946 года член Научно-технического совета ПГУ.
На заседании Специального комитета 30 ноября 1945 года ему было поручено руководить группой ученых (Л. Д. Ландау, Ю. Б. Харитон, А. Б. Мигдал, С. А. Рейнберг, М. А. Садовский, С. С. Васильев и А. П. Закощиков). Они получили задачу на основании доклада П. Л. Капицы о последствиях применения атомных бомб в Хиросиме и Нагасаки проанализировать все имеющиеся материалы и определить эффективность фактора взрывной волны, фактора теплового и фактора радиоактивного излучения.
1 декабря 1945 года было подписано Постановление Совета Народных Комиссаров СССР об организации Лаборатории № 3 АН СССР, директором которой был назначен академик Алиханов. В 1947 году лаборатория была преобразована в Теплотехническую лабораторию АН СССР, а в 1958 году – в Институт теоретической и экспериментальной физики Академии наук, директором которого А. И. Алиханов был до июля 1968 года.
С 1947 года был научным руководителем работ по проектированию и строительству первого советского опытного реактора на тяжелой воде. В 1949 году был введен в строй первый в СССР исследовательский реактор на тяжелой воде. С апреля 1948 года Алиханов также являлся научным руководителем строительства первого советского промышленного тяжеловодного реактора.
За исключительные заслуги перед государством при выполнении специального задания Правительства Указом Президиума Верховного Совета СССР от 4 января 1954 года (под грифом «секретно») Алиханянцу Абраму Исааковичу присвоено звание Героя Социалистического Труда с вручением ордена Ленина