Принимал участие в обороне Порт-Артура, где командовал артиллерий 3 форта. Капитуляция застала его в госпитале, где он находился после ранения шрапнелью в ногу. Отказался давать подписку о дальнейшем неучастии в войне, но как раненный был эвакуирован.
За русско-японскую войну был удостоен: ордена Святого Георгия Победоносца 4-й степени, мечей, к имевшемуся у него ордену Святой Анны 2-й степени, ордена Святого Владимира 4-й степени с мечами и бантом, ордена Святой Анны 4-й степени с надписью «За храбрость», золотого оружия с надписью «За храбрость».
Был прикомандирован к Офицерской артиллерийской школе в качестве руководителя (преподавателя). Им был разработан оригинальный приём целеуказаний, вошедший затем в учебники, и получивший название «треугольник Шихлинского».
За время пребывания в школе Шихлинский подготовил и издал «Инструкцию для организации артиллерийских маневров в составе дивизиона», конспект своих лекций «Употребление полевой артиллерии в бою». Опубликовал статью «О стрельбе артиллерии через голову своих войск». Эти труды получили широкое распространение в армии и оказали большое влияние на развитие артиллерийской науки. За время службы в Офицерской артиллерийской школе он был награждён орденом Св. Владимира 3-й ст. и французским Офицерским орденом Почетного легиона.
С началом войны его знания оказываются настолько востребованными, что первоначально он возглавляет артиллерию Северо-Западного фронта, а после того, как 23 августа 1915 года Император Николай II стал Верховным Главнокомандующим, Шихлинского перевели в Ставку, и он возглавил всю артиллерию России. Приложил много сил для взаимодействия артиллерии с авиацией. В сентябре 1916 года создал школу для совместного обучения артиллеристов и лётчиков. В течение года школа произвела 5 выпусков.
2 апреля 1917 года за отличие по службе он был произведён в генерал-лейтенанты, а 9 сентября того же года был назначен командующим 10-й армией. Ратный труд Шихлинского в годы Первой мировой войны был отмечен орденами Св. Станислава 1- й степени, Св. Анны 1-й степени с мечами, Св. Владимира 2- й степени с мечами.
В Гражданскую войну с 29 декабря 1918 года по 28 апреля 1920 года, до прихода к власти в Азербайджане большевиков, Али Ага Шихлинский служил в армии Азербайджанской Демократической Республики в должности помощника военного министра. После создания Азербайджанской ССР Шихлинский был назначен 30 апреля 1920 года помощником наркома по Военным и Морским делам республики, исполнял обязанности военного руководителя наркомата.
После жестокого подавления антисоветского восстания в Гяндже в конце мая 1920 года практически все офицеры азербайджанской национальной армии были арестованы. В их числе Мехмандаров и Шихлинский. От репрессий их спасло только вмешательство тогдашнего руководителя Совнаркома Азербайджана Наримана Нариманова, который отправил генералов в Москву с сопроводительным письмом на имя В.И.Ленина следующего содержания:
«Дорогой Владимир Ильич!
После