И клерки, и капитаны ненавидели и боялись его, а свои команды он набирал из отпетых бандитов на Мартинике, на Святом Евстафии, в Гаване и Порт-Ройале, причем часто менял их, поддерживая и этим тоже неизбывный ужас в тех, кто приходил им на смену. Получив разрешение сойти на берег, моряки рассеивались по городу, да еще, как правило, несколько человек посылали куда-нибудь с тем или иным поручением, но возвращались обратно не все. Если поручения касались фермы на Потюксет-роуд, то обратно не возвращался почти никто, и об этом люди не забывали, так что со временем Карвену стало трудно удерживать у себя не совсем обычным образом подобранные команды. Несколько человек обязательно сбегали сразу же, как только до них доходили слухи о верфях в Провиденсе. Вербовать же людей в Вест-Индии в конце концов превратилось для Карвена в почти неразрешимую проблему.
К 1760 году Джозеф Карвен стал настоящим изгоем, подозреваемым в самых ужасных связях с дьяволом, которые казались тем страшнее, что их нельзя было назвать, понять или хотя бы доказать. Последней каплей была пропажа солдат в 1758 году. В марте и апреле того года два королевских полка, направлявшихся в Новую Францию, квартировали в Провиденсе и к концу этого срока поредели гораздо сильнее, чем это бывает при обычном дезертирстве. Поползли слухи о том, что Карвена часто видели разговаривающим с одетыми в красные мундиры чужаками, а когда они исчезли, то люди вспомнили и об исчезавших странным образом моряках. Трудно сказать, что было бы, не получи полки приказ двигаться дальше.
Тем временем дело Карвена процветало. Он владел монополией на городскую торговлю селитрой, черным перцем, корицей и с легкостью опередил все остальные торговые дома, кроме фирмы Браунов, в импорте медной посуды, индиго, хлопка, шерсти, соли, одежды, железа, бумаги и всевозможных английских товаров. Торговля Джеймса Грина из Чипсайда, на вывесках которого красовался слон, и Расселлов с их золотым орлом, и Кларка с Найтингейлом с их сковородкой и рыбой почти полностью зависела от поставок Карвена, а его контракты с местными виноделами, наррангассеттцами-коневодами и маслоделами и ньюпортскими свечных дел мастерами сделали его одним из первых экспортеров колонии.
Хоть Карвен и был отверженным, но все же он жил среди людей, поэтому, когда сгорело здание, в котором размещалось Управление колониями, и решили устроить лотерею, Карвен подписался на довольно значительную сумму. И новое кирпичное здание, все еще украшающее главную улицу, было возведено в 1761 году. В том же году он дал деньги на восстановление Великого моста, разрушенного октябрьскими штормами. Для публичной библиотеки он закупил много новых книг, чтобы заменить