Седьмого мая 1765 года родилась Анна, единственная дочь Карвена, и она была крещена преподобным Джоном Грейвсом в Королевской церкви, прихожанами которой вскоре после свадьбы стали Карвены, найдя для себя такой компромисс, ибо он принадлежал к конгрегационистам, а она – к баптистам. Запись о рождении девочки, так же как запись о венчании двумя годами раньше, была вычеркнута почти из всех копий церковной книги и из книги мэрии тоже, и Чарльз Вард, приложив немало сил, отыскал ее после того, как нашел извещение о перемене фамилии вдовы, которое побудило его к дальнейшим поискам своего родственника и внушило губительное волнение, закончившееся сумасшествием. Запись о рождении была найдена совершенно случайно, благодаря переписке с наследниками верного королю доктора Грейвса, который, покидая свою паству во время Революции, сделал копию церковных книг. Вард написал им, зная, что его прапрабабушка Анна Тиллингаст Поттер принадлежала к епископальной церкви.
Вскоре после рождения дочери, которому Джозеф Карвен радовался с откровенностью, необычной для его естественной замкнутости, он решил позировать для портрета, заказанного очень талантливому шотландцу Космо Алекзэндеру, поселившемуся потом в Ньюпорте и прославившемуся в качестве первого учителя Джилберта Стюарта. Портрет сначала висел в библиотеке дома на Олни-корт, но отыскать его дальнейшие следы оказалось невозможно. В это время Джозеф Карвен как будто не замечал никого вокруг и все время проводил на ферме. Есть записи о том, что он был очень возбужден, словно ждал чего-то невероятного или находился на пороге некоего открытия. По всей видимости, его опыты были связаны с химией или алхимией, потому что он забрал на ферму почти все книги по этому предмету.
Тем не менее его интерес к городской жизни не иссяк и он не упускал возможности помочь энтузиастам Стивену Хопкинсу, Джозефу Брауну и Бенджамину Уэсту в их стремлении повысить культурный уровень города, который в то время был ниже, чем в Ньюпорте, покровительствовавшем современному искусству. Он содействовал Дэниэлю Дженксу, открывшему в 1763 году книжный магазин, и стал его завсегдатаем, а также «Газетт», выходившей каждую среду в здании, на стене которого красовалась голова Шекспира. В политике он горячо поддерживал губернатора Хопкинса против партии Варда, которая в основном работала в Ньюпорте, и его по-настоящему яркая речь в Хачерс-холле в 1765 году против отделения Северного Провиденса, который желал отдать свои голоса за избрание Варда в Генеральную ассамблею, принесла ему наконец победу над самыми предубежденными согражданами.
Один только Эзра Уиден, не спускавший с него глаз, довольно скептически относился ко всей этой шумихе и публично заявлял, что Карвен всего-навсего маскирует свои связи с черными безднами Тартара. Мстительный юноша постоянно следил за Карвеном, едва возвращался из плавания, и проводил целые ночи на причале, когда на складах Карвена горел свет, держа наготове