Nazwali swą raczkującą armię Bar Giora, nawiązując do Szymona bar Giory, jednego z przywódców powstania przeciwko Cesarstwu Rzymskiemu w I wieku naszej ery. Na swoim sztandarze złożyli hołd tej dawnej rewolcie, a zarazem przewidzieli własną przyszłość. Napisali na nim: „We krwi i w ogniu Judea upadła. We krwi i w ogniu Judea powstanie”.
Judea rzeczywiście powstanie. Pewnego dnia Ben Cwi zostanie drugim prezydentem państwa Izrael. Będzie to jednak wymagało mnóstwa ognia i krwi.
Początkowo Bar Giora nie cieszyła się popularnością. Jednak z każdym rokiem do Palestyny przyjeżdżało coraz więcej Żydów z Rosji i Europy Wschodniej (35 tysięcy w latach 1905–1914), którzy wyznawali idee syjonizmu praktycznego.
Gdy więcej podobnie myślących Żydów dołączyło do Jiszuwu – Osadnictwa (pełna nazwa Hajeszuw Hajehudi b’Eretz Israel – Osadnictwo Żydowskie na Ziemi Izraela), jak nazywano żydowską społeczność w Palestynie, w 1909 roku Bar Giora przekształciła się w większy i bardziej wojowniczy Ha-Szomer (po hebrajsku „strażnik”). W 1912 roku organizacja ta broniła już czternastu osad. Oprócz tego jednak jej członkowie ćwiczyli potajemnie działania ofensywne, przygotowując się do tego, co syjoniści praktyczni postrzegali jako nieuchronną ostateczną wojnę o przejęcie władzy w Palestynie. Bojownicy Ha-Szomeru uważali się za zalążek przyszłej żydowskiej armii i służby wywiadowczej.
Członkowie tej samozwańczej straży obywatelskiej najeżdżali konno arabskie osady, żeby ukarać mieszkańców prześladujących Żydów (czasami poprzestawali na pobiciu, kiedy indziej kończyło się na egzekucjach)24. W jednym przypadku specjalne tajne zgromadzenie członków Ha-Szomeru postanowiło zlikwidować beduińskiego policjanta Arefa al-Arsana, który pomagał Turkom i torturował żydowskich więźniów. Zastrzelono go w czerwcu 1916 roku.
Ha-Szomer nie cofał się również przed stosowaniem przemocy, żeby podkreślić swoją władzę nad innymi Żydami25. Podczas pierwszej wojny światowej zwalczał NILI, żydowską siatkę szpiegowską pracującą dla Brytyjczyków w osmańskiej Palestynie. Bojownicy bali się, że Turcy odkryją szpiegów i zaczną się mścić na całej społeczności żydowskiej. Kiedy NILI nie zaprzestała działalności ani nie przekazała im pieniędzy otrzymanych od Brytyjczyków, przeprowadzili zamach na Josefa Liszanskiego, jednego z jej członków, lecz tylko go zranili.
W 1920 roku Ha-Szomer znów się przekształcił, tym razem w Haganę (po hebrajsku „obrona”). Chociaż organizacja działała nielegalnie, brytyjskie władze, które już rządziły krajem przez mniej więcej trzy lata, tolerowały ją jako paramilitarne ramię Jiszuwu. W tym samym roku powstał również Histadrut, związek zawodowy Żydów w Izraelu, a dwa lata później Agencja Żydowska, autonomiczne władze Jiszuwu. Obiema kierował Dawid Ben Gurion, zwierzchnik Hagany.
Ben Gurion przyszedł na świat jako Dawid Józef Grün w 1886 roku w Płońsku. W młodości poszedł w ślady ojca i został działaczem syjonistycznym. W 1906 roku wyemigrował do Palestyny i dzięki charyzmie i determinacji mimo młodego wieku został przywódcą Jiszuwu. Wkrótce potem zmienił nazwisko na Ben Gurion, na cześć kolejnego przywódcy powstania przeciwko Rzymianom.
We wczesnych latach działalności Hagana pozostawała pod wpływem agresywnej postawy Ha-Szomeru. 1 maja 1921 roku arabski tłum zmasakrował czternastu Żydów w hostelu dla imigrantów w Jafie. Kiedy się okazało, że w dostaniu się do schroniska pomógł im arabski policjant Tewfik Bej, Hagana wysłała ekipę, żeby go zlikwidować. 17 stycznia 1923 roku został zastrzelony na środku ulicy w Tel Awiwie. Według jednego z uczestników zamachu „kwestią honorową” było to, żeby strzał oddać z przodu, a nie z tyłu, zamach zaś miał „pokazać Arabom, że ich sprawki nie zostaną zapomniane i zapłacą za wszystko, nawet jeśli poniewczasie”26.
Członkowie Ha-Szomeru, którzy początkowo przewodzili Haganie, dopuszczali się nawet aktów przemocy wobec Żydów. Jacob de Haan był urodzonym w Holandii charedim (ultraortodoksyjnym Żydem) mieszkającym w Jerozolimie od początku lat dwudziestych XX wieku. Żarliwie propagował ideę, że tylko Mesjasz może ustanowić państwo żydowskie, jedynie Bóg może zdecydować, kiedy Żydzi powrócą do swojej dawnej ojczyzny, a ludzie próbujący przyspieszyć ten proces popełniają ciężki grzech. Innymi słowy, był zagorzałym antysyjonistą, zaskakująco skutecznie wpływającym na opinię międzynarodową. Dla Icchaka Ben Cwiego, w owych czasach czołowego działacza Hagany, Haan stanowił zagrożenie. Dlatego nakazał jego zabicie.
30 czerwca 1924 roku, zaledwie dzień przed podróżą Haana do Londynu, gdzie miał poprosić brytyjski rząd o ponowne rozważenie obietnicy utworzenia państwa żydowskiego w Palestynie, dwaj zamachowcy strzelili do niego trzy razy, kiedy wychodził z synagogi przy Rehow Jafo (ulicy) w Jerozolimie27.
Ben Gurion patrzył nieprzychylnym okiem na podobne akcje28. Rozumiał, że aby zyskać choćby częściowe poparcie Brytyjczyków dla celów syjonistów, musi zdyscyplinować i ucywilizować konspiracyjną milicję, którą miał pod swoim dowództwem. Dlatego po zamordowaniu Haana brawurowi samotni skrytobójcy przeistoczyli się w członków zorganizowanych i zhierarchizowanych sił zbrojnych. Ben Gurion rozkazał zaprzestać zamachów. „Jeśli chodzi o terror indywidualny, to Ben Gurion konsekwentnie i stale był przeciwko niemu” – wspominał później dowódca Hagany Israel Galili i przywoływał wiele przypadków, gdy jego przełożony nie godził się na likwidację wysoko postawionych Arabów, w tym palestyńskiego przywódcy Al-Hadżdża Muhammada Amina al-Husajniego i innych członków Wysokiego Komitetu Arabskiego, a także brytyjskich urzędników, takich jak wysokiej rangi pracownik Brytyjskiego Mandatu Palestyny, który blokował żydowskie projekty osiedleńcze.
Nie wszyscy ulegali Ben Gurionowi. Abraham Tehomi, człowiek, który zabił de Haana, pogardzał jego wyważoną taktyką wobec Brytyjczyków i Arabów i wraz z kilkoma innymi ważnymi postaciami ruchu opuścił Haganę, by w 1931 roku założyć Irgun Cwai Leumi, Narodową Organizację Zbrojną, której hebrajski skrót to Ecel. Tą radykalną prawicową grupą dowodził w latach czterdziestych XX wieku Menachem Begin, który w 1977 roku zostanie premierem Izraela. W Irgunie również dochodziło do podziałów, zarówno na tle sporów osobistych, jak i ideologicznych. Przeciwnicy poglądu Begina, że należy współdziałać z Brytyjczykami w ich wojnie z nazistami, odłączyli się od organizacji i założyli Lechi. Dla tych ludzi wszelka kooperacja z Brytyjczykami była niedopuszczalna.
Te dwie dysydenckie grupy popierały, w różnym stopniu, zamachy na arabskich i brytyjskich wrogów, a także Żydów, których uznano za niebezpiecznych dla sprawy29. Ben Gurion pozostał na stanowisku, że selektywnej eliminacji nie można stosować jako broni, i nawet podjął stanowcze kroki przeciwko tym, którzy łamali jego rozkazy30.
Jednak wraz z końcem drugiej wojny światowej zmieniło się wszystko, nawet poglądy niewzruszonego Ben Guriona.
Podczas drugiej wojny około trzydziestu ośmiu tysięcy Żydów z Palestyny zgłosiło się do służby w brytyjskiej armii w Europie. Brytyjczycy sformowali Brygadę Żydowską, aczkolwiek z pewną niechęcią