24 июля 1920 г. Канарис возвращается на флот и получает назначение в штаб сил на Балтийском море. 19 июня 1923 г. он становится первым помощником командира крейсера «Берлин» и затем 1 января 1924 г. получает звание корветен-капитана (капитана 3-го ранга). Среди его подчиненных 20-летний лейтенант Рейнхард Гейдрих (Reinhardt Heydrich), будущий обер-группенфюрер СС, глава СД и Главного управления имперской безопасности (РСХА) и будущий злейший враг Канариса.
С 15 мая 1924 г. Канарис служит в штабе начальника морского управления военного министерства. Он отвечает за вопросы развития и вооружения подводных сил. В этот период он занимается не только бумажной работой. Канарис тайно посещает Японию, где на верфях фирмы «Кавасаки» строятся корабли для немецкого флота. В октябре 1926 г. он приезжает в Испанию, где, используя старые связи, устанавливает тесные контакты с местным крупным промышленником Эчевариетой. В итоге на верфях последнего в январе 1928 г. закладываются новые подлодки для Германии.
22 июня 1928 г. Канарис назначается первым помощником командира линкора «Силезия» и затем 1 июня 1929 г. получает звание фрегатен-капитана. С 29 сентября 1930 г. он служит в должности начальника штаба эскадры в Вильгельмсхафене, и 1 октября ему присваивают звание капитана цур зее. 1 октября 1932 г. Канарис возвращается обратно на «Силезию», но теперь уже в качестве ее командира.
Прослужив на старом линкоре два года, он рассчитывает получить новую должность, возможно, командира нового крупного боевого корабля или же начальника отдела в Главном штабе флота. Однако все знают, что главнокомандующий Кригсмарине адмирал Эрих Редер (Erich Reder) и ряд других высокопоставленных флотских офицеров недолюбливают Канариса. Они полагали, что тот более склоненк«военно-политической, чем военной, карьере, и, хотя являлся храбрым командиром, мало подходил для высокого руководящего поста в военно-морском флоте».
В итоге ему приходится довольствоваться постом командира военно-морской базы в Свинемюнде (Swinemunde) [23], на который он назначается 29 сентября 1934 г. База небольшая, если не сказать заштатная, и многим тогда казалось, что у Канариса осталась лишь одна перспектива – тихо дослуживать там до почетной отставки в звании контр-адмирала.
Однако судьба распорядилась по-другому. Можно утверждать, что разведывательные полеты Теодора Ровеля над Польшей и Францией и последовавший за ними скандал, который привел к отставке прежнего начальника Абвера капитана цур зее Конрада Патцига, стали настоящим «спасением» для карьеры Канариса.