С 1944 работал в органах госбезопасности Азербайджана.
В 1950-м Гейдар Алиев окончил ленинградскую школу переподготовки оперативного и руководящего состава МГБ, а через 7 лет ему вручили диплом Азербайджанского государственного института, где Алиев учился на факультете истории. В 50-х Гейдару Алиевичу пригодилось знание языков: он служил в рядах контрразведки в Афганистане, Пакистане, Турции и Иране.
В 1960 году Гейдар Алиев стал начальником отдела контрразведки Комитета госбезопасности Азербайджана, а через 4 года назначен зампредседателя КГБ республики. Карьерный рост контрразведчика стремителен: в 1967 году генерал-майор Алиев возглавил КГБ республики.
В 1960 году Алиев стал начальником Контрразведывательного отдела КГБ при СМ Азербайджанской ССР, а в 1964 году – заместителем председателя КГБ при СМ Азербайджанской ССР, которым был тогда С. К. Цвигун.
Позднее бывший первый заместитель председателя КГБ СССР, генерал армии Филипп Бобков вспоминал: «Алиева рекомендовал Цвигун. Он хорошо знал Алиева по Баку, где работал председателем КГБ, дружил с Брежневым. Кстати, Алиев попал на пост первого в Азербайджане по делу. Он действительно начал борьбу с коррупцией. По тому времени это был не такой уж простой ход».
К 1969 году в Азербайджане, при Вели Ахундове, сложилась ситуация, когда практически открыто продавались все должности и звания – академиков, секретарей райкомов, министров. Номенклатурные кланы фактически приватизировала азербайджанскую систему власти и экономику, что вынудило Москву снять Ахундова и поставить главой Азербайджана «сильную личность», бывшего руководителя азербайджанского КГБ, Гейдара Алиева.
В июле 1969 года пленум ЦК компартии Азербайджана избрал Алиева на должность первого секретаря ЦК Компартии Азербайджана в период советской кампании по борьбе с коррупцией. Гейдар Алиев добился некоторых успехов в борьбе против коррупции, достаточно большое количество людей были приговорено к тюремным срокам; в 1975 году пять председателей колхозов и директоров фабрик были приговорены к смертной казни за коррупцию в больших размерах. С его согласия КГБ и МВД Азербайджана арестовало в полном составе государственную торговую инспекцию Министерства торговли республики в количестве 24 человек. В течение первых пяти лет руководства республикой были сменены две трети министров, 8 из 10 членов бюро ЦК, 37 из 45 секретарей райкомов. По словам бывшего первого заместителя председателя КГБ ССР Ф. Д. Бобкова, на вопрос, заданный спустя три года после вступления в должность, «многое ли удалось сделать?», Алиев ответил: «Гарантировать могу только одно – в ЦК партии Азербайджана взяток не берут». Впоследствии, однако, коррупция достигла ещё более больших размеров, когда различные должности в административно-командной системе стали занимать земляки, или точнее, выходцы из Нахичевани. Писатель Чингиз Абдуллаев в статье «Час откровения» следующим образом описал сложившуюся при Алиеве ситуацию: «В условиях нашей республики местничество приобрело особенно откровенный