Работа каторжников была наитяжелейшей – гружёные клети-ряжи с камнем сбрасывались в море, на глубину до 15 метров, но при сильном шторме, коих было здесь превеликое множество, волны быстро уничтожали скорбный каторжный труд. Этот сизифов труд продолжался ежесуточно, заключённые ломали камень, тащили его на тележках к морю, кидали с возвышенностей, как писал свидетель этого зрелища, «дабы сделать от берега до острова каменную широкую плотину, которую они назвали „мулею“… Не успеет подняться большая буря, как в один час разрушит и снесёт всё то, что лет в пять накидано было».
В 1725 году царь Пётр Первый скончался и гавань перестали строить – кроме императора никто из власть держащих деньги на Богом забытый Рогервик тратить не желал. Да и к тому же сам помазанник Божий в последних указах повелел освободить всех каторжных в империи, кроме убийц и грабителей, – чтобы они истово молились за здоровье царя. Увы, не помогло, да где их сейчас сыщешь!
Дочь Петра Великого императрица Елизавета решила лично посетить Рогервик в 1746 году, после сенатского доклада, что «кроме мастеровых 10 человек никого нет… строение не производится, плиты …от мокроты и ненастья пришли в негодность, а мол, сделанный тяжким трудом каторжных невольников, почти весь под водою».
Вместе с ней отправились в поездку великие князь и княгиня, будущие правители Пётр III и Екатерина II.
Впоследствии Екатерина Алексеевна «закончила Рогервикскую работу», переименовала город в Балтийский порт и разрешила селиться в нём простым обывателям. То, что юная Катенька увидела печальное зрелище и физически страдала, можно прочитать в её записке. «От этого путешествия мы все необычайно натрудили себе ноги. Почва этого местечка каменистая, покрытая густым слоем мелкого булыжника такого свойства, что если постоишь немного на одном месте, то ноги начинают увязать, и мелкий булыжник покроет ноги. Мы стояли здесь лагерем и должны были ходить из палатки в палатку и к себе по такому грунту в течение нескольких дней; у меня ноги болели потом целых четыре месяца. Каторжники, работавшие на моле, носили деревянные башмаки, и те не выдерживали больше восьмидесяти дней».
Ко времени посещения Рогервика царской комиссией к 1617 местным злодеям из всех темниц империи сюда были переведены 110 убийц, 169 воров-рецидивистов и 151 человек осуждённых к вечной каторге. 37-летняя императрица Елизавета, в душе обычная жалостливая баба, после этой тяжёлой поездки дала себе клятву не казнить смертью лютой своих подданных, что делала её жестокая предшественница Анна Иоанновна, которая издавала соответствующие указы. Елизавета видимо думала, что работа в каменоломнях гуманнее топора и виселицы. Право, неизвестно ещё, что лучше!
Средний срок жизни заключённого