В разных источниках фамилия Казарского пишется по-разному – как Казарский и как Козарский. Впрочем, для первой половины ХIХ века это было не редкость. Согласно «Словарю русских фамилий», фамилия Казарский имеет своей основой слова «козар» – «казар», которые являются либо причастной формой от тюркского глагола «нарастать, увеличиваться» или «копать, рыть», т. е. или «нарастающий», или «роющий». По другой версии, фамилия Казарский представляет собой название древнего тюркского народа – хазаров. Менее вероятно происхождение фамилии Казарский от тюркского слова со значением «осторожность», «осторожный». Общий вывод таков – фамилия писалась и так и этак, все от писавшего зависело, при этом никто особенно не заморачивался на этом.
Обучение грамоте Казарский получил в церковно-приходской школе. Священник Дубровненского православного прихода обучал его грамоте, а местный ксендз преподавал основы математики, латыни и французского языка.
В 1808 году к Казарскому приехал двоюродный брат отца и крестный Александра надводный советник Василий Семенович Казарский, недавно назначенный на чиновничью должность в интендантском управлении Черноморского флота. Надворный советник согласно табелю о рангах соответствовал подполковнику. Чин не столь уже велик, но в черноморских кругах все же заметный. Дядя предложил отвезти двоюродного племянника в Николаев и определить в Черноморское штурманское училище.
На прощание Иван Кузьмич якобы сказал сыну: «Честное имя, Саша, – это единственное, что оставлю тебе в наследство». Первый биограф А.И. Казарского капитан-лейтенант Иван Николаевич Сущев, побывавший в Дубровно в 40-х годах прошлого века, со слов очевидцев записал подробности этой сцены, в частности, признание И.К. Казарского, что честное имя – единственное достояние, которое он оставляет в наследство сыну. Помимо этого в завещании отца фигурировало еще старое охотничье ружье. Много лет спустя, заполняя очередной «формулярный список о службе и достоинствах», флигель-адъютант и кавалер гвардейского экипажа капитан 1-го ранга А.И. Казарский в графе «имеет ли за собою, за родителями или, когда женат, за женою недвижимое имение», напишет: «Не имею».
Занятия проводили весьма опытные и грамотные преподаватели Латышев, Жданов, Дружинин. Лука Андреевич Латышев, к примеру, участвовал во взятии Корфу и многих других плаваниях и сражениях.
30 августа 1813 года волонтер Александр Казарский был записан в Черноморский флот гардемарином. А еще через год в одном из местных греческих трактиров однокашники отмечали свое производство в первый офицерский чин. В кают-компании бригантин «Десна» и «Клеопатра», на которых мичман Казарский плавал после окончания училища, хорошо помнят веселого, стройного и красивого мичмана. Надеясь найти живое дело в пограничной службе, Казарский подал рапорт о переводе на Дунайскую флотилию, после чего и был назначен в Измаил командиром