Venelased said Toolse linnuse enda valdusse Liivi sõja ajal 1558. aastal. Millal aga suursugune rajatis hävitati, pole teadlaste sõnul praegu veel päris selge. Ühe arvamuse kohaselt lagunes ordulinnus 16. aastasaja lõpul. Teisalt väidetakse, et sõjaline ehitis oli kasutuskõlblik veel koguni Põhjasõja päevil.
Juba muinasajal oli Toolse üks Virumaa põhilisi meresadamaid, tuntud kaubitsemiskoht ranna ääres. Madalaveelise ranniku tõttu viidi last hobustega paatidesse ja paatidega kaugemal reidil seisvatele kaubalaevadele.
Arheoloog Tõnno Jonuks avastas väljakaevamistel Toolse linnuse ammuses väravahoones kultuurkihi, mis pärineb sealsest garnisoniruumist, kuhu venelased Liivi sõja ajal oma sõdureid majutasid. Tegu on niisiis linnuse omaaegsest väravahoonest ümber ehitatud pääslaga, millest on säilinud esialgne palkpõrand. Jonuksi sõnutsi paigaldati põrand arvatavasti 1560. aastate paiku. Huvitaval kombel leiab terane vaatleja tänagi põrandaplankude esmase järjestuse. Kaevetöödega leitud arvukad potikillud ja loomaluud viitavad kindlalt sellele, et vana ordulinnus on tõepoolest olnud sõdurite elupaik.100
Arhiiviandmed kinnitavad kunagi ammu siinmail rännanud saadikute tähelepanekuid. Haagis ilmunud Anthonis Goeteerise trükis kajastas Hollandi saatkonna reisiaruannet Venemaale aastatel 1615–1616. Meritsi Tallinna saabunud kõrgete aukandjate teekond viis neid muu hulgas meie põhjaranniku ühte asustatud sadamakohta: „Järgmisel päeval söödi lõunat Toolse lossis, mis mainitakse olnud tol ajal rohkesti suurtükkidega varustatud riigilinnus.“101 Omaaegseid tagasihoidlikke olusid arvestades oli Toolse valvatud-kaitstud sadamapaigana hädatarvilik veel sellegi jaoks, et suursugused reisiseltskonnad saaks siin, nagu mõisateski, väsinud küüthobuseid vahetada. See oli nigelatel postimaanteedel rändamise üks eeltingimusi.
Soodus randumiskoht ja viljarikka Virumaa ammuse merevärava hea asupaik põhjarannikul soodustasid kahtlemata väliskontakte veetee kaudu. Lennart Meri oskab Soome etnograaf Kustaa Vilkunale toetudes täpsustada: „Alepõllundusele olid jõukohasemad kidura võserikuga paepealsed alad, kus ei kasvanud võimsat metsa. Koos jõukusega kandus Virumaale muinaslaevanduse raskuspunkt, koos laevateedega Kalimeeste poeetiline kajastus Kalevi-muistendite näol. Sellest ajast pärineb ka Toolse nimetus, mis vanasti kõlas veidi teisiti: Toolisen. See oli laensõna, mis gooti keeles tähendas aujärge, kohanimena aga valitsemispaika või keskust.“102 Ühtlasi olevat see vana toponüüm üks meie väheseid mälestusmärke muinasgootide läbirändest ja selle sündmuse kaudu dateeritav, eelkõige muistse veeteedeäärse randumiskoha tõttu.
Akadeemik Vilkuna on täheldanud mõndagi huvitavat: „Eriti tähtis sadam on olnud suursaarlaste vahetuskaubanduskoht Tuolinen (eesti k. Toolse) – Tolsburg. Sinna ehitati 1471 loss […], mis oli halduspaigaks Saksa ordu foogtile. Kuuldavasti pidi too feodaalaegne kõrge haldusametnik ka ühe ülesandena kaitsma sealset rannikut mereröövlite rünnakute eest. Sellele keskaegsele teabele on täiendusena huvitav lisada oletus, et tõenäoliselt juba sakslaste anastusretke eel on samas kohas asetsenud mingisugune Eesti ranniku halduskeskus. Sellele viitab eesti-soome nimi Toolse (<*tõlisen, nom tõlinen) – Tuolinen (<tõlinen). See nimi on häälikuseaduslik laen trooni märkivast vanast sõnast, mille algupärasteks esindajateks on muinasvene stol ’laud, kroon’, gooti stols ’kroon’, muinasrootsi stol ’tool, kroon’. Toponüümides tähendab sõnaosis „tool“ otseselt teatavat halduspaika, näiteks venekeelne stol või stolitsa ’pealinn’. Toponüüm Toolse-Tuolinen pärineb igal juhul sakslaste vägivaldse sissetungi eelsest ajast.“103
Keskaegne Tuolinen kujunes ka soomlastele üheks randumispaigaks, kus oli neil võimalus vahetada kala, võid, karusnahku ja rootsi rauda. Soome kalurite ja eesti talupoegade traditsioonilised kaubareisid leidsid aset regulaarselt kaks korda aastas – jaani- ja mihklipäeva paiku.104 Kohaliku sadama naabrusse kerkis kaluriasundus, mida esmakordselt mainiti 1425. aastal kujul Tholis.105 Tollal oli Toolse Suursaarelt meritsi saabunud inimestele, eriti aga saare idarannal asetseva Kiiskinkylä asukatele tähtsaks vahetussadamaks.106 Eesti põhjaranniku rannasadamate osatähtsusest annab tunnistust ka Karl XI nõue, et väikesed Virumaa sadamad tuleb säilitada „nagu senini“.
1665. aastal määras kindralkuberner Bengt Horn vahetuskaubasadamaks ainult Toolse. Vaevalt küll sellest sättest tollal kinni peeti. Mahu ja Toolse sadama rajamise ametlikuks alguseks peetakse 1766. aastat.107 Vana sadamapaiga nimekuju Tulisborg Haf sai 1778. aastast tuntuks eelkõige Tütarsaare elanike vahetussadamana.108
Orduloss käis käest kätte ja varemeiks muutus see ilmselt Põhjasõja päevil. Ent Toolse sadama talitlus jätkus veel hiljemgi, pärast losskindluse tõelist mandumist. 17. sajandil ulatusid Toolse rannasadama sidemed kuni Rootsini, hoolimata sellest, et Tallinn taotles enda haldusse kaubandustegevuse kogu Soome lahel. Seejärel jäi Toolse sadamakoha põhiliseks ülesandeks rannakaubanduse vahendamine.
Veel on teada fakt, et kaubavahetuspaigana tegutses Toolse sadamakoht juba 1756. aastast. Ametlikult lubati tolleaegsetel purjelaevadel Toolses randuda aga alles 63 aasta pärast, seega 1819. aastal. Eesti põhjaranniku ühe hinnatuma sadamakoha populaarsust kinnitavad statistilised andmed: aastatel 1836–1840 sildus Toolses keskmiselt 61 soomlaste alust aastas.109
Toolsel oodati aastasadade vältel pikisilmi Tütarsaare, aga eriti Suursaare laevnikke nende sibulalastiga nn saarlaste pühale vahetuskaupa sobitama. Mälestusi-meenutusi saaremeeste ammustest kaubareisidest on talletanud ka soome kaupmeeste järeltulijad. Aira-Maija Kivelä mäletamist mööda seilati Soome lahe ulgusaartelt pärast kevad- ja sügispüügi lõppu Viru randa. Ühe tünni soolasilkude vastu vahetati kaks rukkeid. Retkele võeti kingituseks Virus eriti soositud tohukala – just nii kutsuti nõrgas soolvees eelnevalt hoitud ja ahjus toorel mahlasel kasetohul või männikoorel küpsetatud hõrgutisi. Puukoor andis kalale eriliselt omapärase maitse. Tegu oli kalaroa valmistamise igivana tavaga, mille poolest olid tuntud eelkõige ulgusaarte elanikud. Viljatoojat eesti talumeest kostitati purjelaeval seevastu ohtrasti viina ja kohviga. Virumaa rannarahva kodudest saadi kingitusena ühes kauneid tekstiilitooteid, head kodusaia ja õunu.110
Omakandimehe Villem Alttoa andmeil lõppenud jaalakaubandus ja Virumaa randlaste ülemerereisid Esimese maailmasõjaga. Teadlase arvates käis viimane Toolse ranna alus Soome lõunaranniku saartel 1916. aastal. Sajanditevanuse kindla läbikäimise tulemusel oli Suursaares igal aluksemihel oma sepra. Sealses kohalikus murdekeeles ei tarvitatud sõna ystävä, mis meie maakeeli just sõpra tähendab. Endise sadama omaaegsele osatähtsusele soome keele vahendajana viitab veel üks omapärane tõik: kõige soomelisemat keelt kõneldi just Toolse ja Karepa külas.111
Toolse kaubavahetuskoht oli meie põhjanaabreile soomlastele tuntud Tuolise nime all. Toolsele olid oodatud ka Tütarsaarelt pärit laevnikud nn saarlaste pühale sõbrakaupa sobitama.