Портрет Якова Петровича Кульнева мастерской Джорджа Доу. Военная галерея Зимнего Дворца, Государственный Эрмитаж (Санкт-Петербург).
В городке Люцине (Лудзе) у Петра Васильевича был дом, купленный им ещё в годы Семилетней войны (1756–1763). Сюда и переезжает окончательно Пётр Васильевич, вскоре после своей отставки занявший в городке должность городничего. В этой должности он оставался до самой смерти. Хотя городок Люцин был совсем небольшим, однако при умелом «менеджменте» и с него можно было бы «отжать» свою долю на комфортное существование. Однако семья Кульневых жила более чем скромно, что довольно определённо характеризует отношение Петра Васильевича к казённым деньгам. Жалование да 25–27 «душ мужеска пола» крепостных позволяли не знать бедности, но и были далеки от дворянского понимания богатства. Так воспитывали и детей. Бескорыстие было одной из отличительных черт Якова Петровича Кульнева, «беднейшего в мире генерала».
Мать Якова Петровича – Луиза Ивановна Гребениц, уроженка Пруссии, была моложе своего супруга на 22 года. Её отца хорошо знал А.В. Суворов, в круг общения которого вошла и семья Кульневых. Постоянная нехватка денег во многом определила судьбу детей: из шести мальчиков пятеро воспитывались в шляхетском сухопутном кадетском корпусе.
В 1770 году в семилетнем возрасте вместе с четырёхлетним братом Иваном Яков Кульнев был определён в шляхетский кадетский корпус, в котором воспитанники содержались и учились за казённый счёт. В начале 1785-го года по завершении обучения Яков Петрович был произведён в поручики. В характеристике, данной кадетским корпусом, отмечалось, что за хорошие успехи в учёбе, «а особливо за его похвальное поведение и достойные поступки получил, при выпуске по окончании Корпуса, в награждение серебряную большой величины медаль» и преимущества в выборе места службы. Тяга к знаниям не исчезла из жизни Кульнева и в зрелые годы. Он проявлял живой интерес к истории, особенно к истории России и Древнего Рима.
Сразу по окончании шляхетского корпуса Я.П. Кульнев был направлен в Черниговский пехотный полк, однако в том же году был переведён в Петербургский драгунский полк. С этого времени вся жизнь Я.П. Кульнева связана с кавалерией.
Кавалерийская служба считалась дорогой: можно было довольствоваться полковыми лошадьми, но в кругу кавалерийских офицеров той поры это не приветствовалось, обычно офицеры покупали несколько лошадей за свои деньги. Такая же ситуация была и с кормами для лошадей. Да и поддержание имиджа кавалерийского