В первых числах сентября 1871 г. А. К. Алчевский открыл в Харькове Земельный банк, учредителями которого стали профессор-экономист И. В. Вернадский, землевладелец А. Ф. Бантыш, купец 1-й гильдии Ф. И. Добрынин и другие состоятельные люди города и губернии. Земельный стал первым и некоторое время единственным в тогдашней России банком ипотечного кредита – он ссужал деньги под залог земли, а также сельской или городской недвижимости. Основной его особенностью была долгосрочность кредита. Кроме того, закладное имущество оставалось в руках должника, который, уплачивая проценты или погашая долг, продолжал эксплуатировать это имущество.
Земельный банк нанес сокрушительный удар по ростовщикам, выдавая кредиты всего лишь под 7,5 % годовых, «считая в том числе и амортизацию долга». Поэтому и потянулись за помощью в Харьков многие тысячи земледельцев не только Слобожанщины и Войска Донского, но и Курской, Черниговской и других губерний Российской империи. Примеру Алчевского вскоре последовали другие финансисты – через полтора года после открытия этого банка в стране возникло 11 таких же финансовых учреждений. Алексей Кириллович стал видным банковским авторитетом, с которым часто общались министры финансов тех лет – Н. X. Бунге, И. А. Вышнеградский, С. Ю. Витте…
В середине 1870-х гг. он стал богатым человеком, состояние которого оценивалось в 3–4 млн рублей. Любой другой человек, добившись таких успехов в бизнесе мог спокойно остановиться на достигнутом, но только не Алчевский. Приняв попутно деятельное участие в основании еще двух харьковских банков – Общества взаимного кредита приказчиков и Общества взаимного кредита горнопромышленников юга России, предприниматель энергично взялся за новые дела, на этот раз производственного характера.
Зная о том, что французские капиталисты потеряли на разведке угля в Кураховке 25 млн франков, он не побоялся вложить средства в создание угледобывающей промышленности Донбасса. Сначала в очень скромных размерах, а потом все более увеличивая затраты, Алчевский стал заниматься разведочными работами и разработкой каменного угля в Бахмутском и Славяносербском уездах, а также в области Войска Донского. В 1875 г. он организовал акционерное Алексеевское горнопромышленное общество, целью которого была разработка угольных залежей на землях, находящихся близ только что построенной ветки Луганск – Дебальцево Екатерининской железной дороги. Здесь когда-то были поместья И. И. Гладкова, И. Н. Жилло, братьев Родаковых, князя А. С. Долгорукова. Заложенные в Харьковский земельный банк, через год они были выкуплены Алексеевским обществом, то есть А.