Не менее громкую известность ему принесло участие в шведской войне 1808–1809 годов. Командуя передовым отрядом, Кульнев наносил врагу поражение за поражением, дошёл до Улеаборга – главной военной базы шведов на севере Финляндии, и в одной из стычек захватил в плен начальника штаба шведской армии генерал-адъютанта графа Левенгельма. Гусар и поэт Денис Давыдов по этому поводу писал:
Поведай подвиги усатого героя,
О муза, расскажи, как Кульнев воевал,
Как он среди снегов в рубашке кочевал
И в финском колпаке являлся среди боя.
Пускай услышит свет
Причуды Кульнева и гром его побед.
Румяный Левенгельм на бой приготовлялся
И, завязав жабо, причёску поправлял,
Ниландский полк его на клячах выезжал,
За ним и корпус весь Клингспора пресмыкался.
О, храбрые враги! Куда стремитесь вы?
Отвага, говорят, ничто без головы.
Наш Кульнев до зари, как сокол, встрепенулся.
Он воинов своих ко славе торопил:
«Вставайте, – говорил, – вставайте, я проснулся!
С охотниками в бой! Бог храбрости и сил!
По чарке, да на конь, без холи и затеев;
Чем ближе, тем видней, тем легче бить злодеев!»
Всё вмиг воспрянуло, всё двинулось вперёд…
О муза, расскажи торжественный поход!
Причём приказ Я.П. Кульнева, приведённый в стихотворении Д.И. Давыдовым – это не поэтическая «красивость», а почти дословная цитата из подлинного приказа, в соответствии с которым атака была назначена за два часа до рассвета.
А о финском колпаке, в котором Кульнев «являлся среди боя», в своих мемуарах гусар и поэт Денис Васильевич Давыдов даёт подробные разъяснения. Во время финского похода он находился в отряде Я.П. Кульнева, «евшего с ним из одного котелка и пившего из одной фляжки… Кульнев был росту высокого, почти двух аршин десяти вершков. Был сухощавым, но ширококостным и немного сутуловатым мужчиною. Волосы имел он тёмно-русые с сильной проседью. Он был лица продолговатого, нос имел довольно большой: прямой, с малой горбиною, и носил довольно длинные усы, соединявшиеся с довольно длинными бакенбардами. Я недавно где-то читал, что он носил какой-то чёрный гусарский ментик или доломан с чёрными шароварами. Несправедливо. В Финляндии он носил Гродненского гусарского, а в Турции Белорусского гусарского полка ментик или доломан, смотря по времени года, как все гусары; только одежда его была не офицерская, а рядового гусара, т. е. сшитая из толстого солдатского сукна, с гарусными шнурками и оловянными