В 1895 г. Варбург совершает путешествие в Америку. Он едет туда на свадьбу младшего брата, а затем, в составе экспедиции Смитсоновского института, отправляется к индейцам пуэбло, где знакомится с их обычаями и старинными обрядами. По возвращении в Европу Варбург в 1897 г. женился на художнице Мэри Херц; они были знакомы уже десять лет, Мэри тоже происходила из богатой гамбургской семьи, но протестантской, и поэтому родственники с обеих сторон возражали против этого брака. После свадьбы молодожены едут во Флоренцию, и с 1897 по 1904 г. Варбург работает там в архивах. А затем возвращается в Гамбург. Как писала впоследствии помощница Варбурга Гертруд Бинг, вероятно, основываясь на его собственных воспоминаниях и рассказах, во Флоренции было так много произведений искусства, что он буквально «убежал» от их непосредственного созерцания в Гамбург, чтобы обратиться к книгам, к текстам. Среди работ, опубликованных Варбургом в этот период, – «Искусство портрета и флорентийское общество» (1902); «Дюрер и итальянская античность» (1905), «Работающие крестьяне на бургундских коврах» (1907), «Последнее волеизъявление Франческо Сассетти» (1907).
Варбург никогда не состоял на службе, отказывался от предложений возглавить кафедру, но переписывался с широким кругом коллег. Когда собирается Десятый Международный конгресс историков искусства в Риме в 1912 г., Варбург, будучи одним из его вдохновителей (и казначеем), предоставляет другому ученому право руководить немецкой делегацией; сам он выступит на этом конгрессе со знаменитым докладом о фресках палаццо Скифанойя. В Гамбурге Варбург пользуется уважением благодаря своей компетенции в вопросах искусства и образования, он ведет активную общественную жизнь: читает лекции в гамбургском Кунстхалле, при его содействии и участии в 1920 г. основан Гамбургский университет. Но главным занятием становится собирание, вернее, построение библиотеки.
История библиотеки начинается в 1879 г., когда Варбург в возрасте 13 лет уступил права первородства своему младшему брату Максу, взяв с него обещание покупать все книги, какие ему только потребуются.