Будучи с детства преданным бойцом мафии, Сигел в то же время сохранял в душе романтические идеалы. Сами гангстеры говорили, что главное для него не деньги, а идея. К примеру, именно Багси пришла в голову мысль построить в самом центре пустыни Невада роскошное казино «Фламинго». Боссы мафии были против этой затеи, считая ее изначально провальной: мол, какой дурак поедет в такую глушь? Но Сигел сумел очаровать своих соратников грандиозным проектом строительства в пустыне не только одного казино, но целого города, этакой Мекки игорного бизнеса. Он взял у мафии под строительство «Фламинго» 1 миллион долларов, но по ходу дела затраты выросли до 6 миллионов. В Рождество 26 декабря 1946 года казино «Фламинго» распахнуло двери. Но затея провалилась – людей на открытие приехало немного, да еще в разгар торжества во всем комплексе внезапно вырубился свет. Багси перенес открытие на более поздний срок. Но сам он этого события уже не дождался. Выражаясь языком мафии: «погорел из-за бабы».
Багси влюбился в очередную красотку – второразрядную певичку и актрису Вирджинию Хилл. В свое время в ее любовниках перебывало десятка три мужчин, среди которых были: всесильный магнат Крупп, ударник из ее оркестра, два испанских тореадора и другие. А непосредственно до Багси с Вирджинией крутил любовь другой знаменитый гангстер – Джо Адонис. В отличие от них, Багси угораздило влюбиться в Вирджинию, что называется, по уши: ради нее он развелся с женой и даже сделал ее своим партнером по строительству «Фламинго». Эта доверчивость и погубила Багси. Пока он «хлопал ушами», его любовница открыла счет в швейцарском банке на свое имя, на который «утекло» 2 миллиона долларов, отпущенных на строительство казино. Когда мафия об этом узнала, она предъявила претензии Багси, поскольку строительство курировал именно он. Багси же стал выгораживать свою любовницу, дескать, она не могла его обмануть. Наивный. Обман был доказан, да и сама Вирджиния вскоре призналась в этом своему любовнику. Это, а также неудача с открытием казино «Фламинго» и решило судьбу Багси.
20 июня 1947 года он вернулся из Лас-Вегаса в Лос-Анджелес, где снимал для своей любовницы виллу из 16 комнат. В 22 часа 45 минут, когда вместе со своим приятелем он потягивал виски, окно на террасе с грохотом разбилось и две пули, выпущенные из тяжелого карабина, поставили точку в судьбе знаменитого гангстера. После гибели любовника Хилл сочла за благо вернуть