В 1629—1632 годах испанцы включили в состав флота военные корабли, и они на постоянной основе остались в Карибском море. Это мало помогало. Среди прочих трофеев пиратов оказался захваченный в 1635 году Пьером Леграном 54-пушечный флагманский корабль, который по какой-то причине, отстал от флота. В этом не было бы ничего особенного, если бы не одно обстоятельство – Легран командовал 4-пушечным люгером, с командой всего из 28 человек, а, значит, силы нападавших были в десятки раз меньше, чем у испанцев.
Первая неудача постигла голландцев в 1639 году, когда они не смогли захватить испанский флот. Во многом это произошло благодаря появлению фрегатов, которые были вдвое меньше галеона, однако несли то же количество орудий. Эти нововведения не смогли сдержать усиливающийся напор на испанские колонии Англии, Франции, Голландии, особенно учитывая слабеющую роль Испании в европейских делах.
В 1657 году в бухте Санта-Крус-де-Тенерифе английский флот под командованием Роберта Блэйка уничтожил Серебряный флот, что стало настоящей катастрофой для испанских финансов.
В 1668 году Генри Морган с отрядом из 400 пиратов захватил Портобелло – мощную крепость, считавшуюся неприступной, а в 1669 году – Маракаибо и Гибралтар.
Самой крупной операцией пиратов стал рейд на Панаму в 1671 году объединённых англо-французских сил из 1200 человек. Им удалось разгромить втрое больший по численности испанский гарнизон и, захватив город, разграбить до последнего песо.
В 1683 году французские буканьеры атаковали Веракруз и получили 800 тысяч песо в серебре и других ценностях. В 1697 году – Картахену, и население выплатило им 8 миллионов песо, чтобы они оставили город.
Силы Испании были ещё более ослаблены уменьшением добычи серебра в Америке. Его производство в Потоси достигло максимума в 1600 году и составило 9 миллионов песо. После этого в течение ста лет производство неуклонно снижалось. К 1700 году во всех испанских колониях добывали 11 миллионов песо в отличие от 16 миллионов столетием ранее. В то же время экспорт серебра из Азии достиг 4,5 миллиона песо и продолжал уменьшаться.
Война за испанское наследство нанесла невосполнимый удар её колониальной империи. Англо-голландский флот господствовал в Карибском море и на торговых путях через Атлантику, что не могло не сказаться на эффективности перевозки ценностей. Последствия разгрома Испании в этой войне ещё долго сказывались на перевозках золота и серебра через океан.
В начале XVIII века классический морской разбой в Карибском море практически исчез. Однако это совсем не означало, что испанские галеоны могли безопасно доставлять свой груз в метрополию. На смену флибустьерам,