В пятилетнем возрасте Миша потерял отца. В бедной еврейской семье было пятеро детей, и Моисей с десяти лет познал труд. Ему удалось закончить четыре класса еврейской школы. В шестнадцать лет он устраивается на работу электриком на авиазавод «Анатра».
Когда в октябре 1905 года в Одессе при попустительстве полиции начались еврейские погромы, то на пути чёрносотенцев встали вооруженные отряды самообороны, сформированные из вчерашних налетчиков. Благо оружия у них было вдоволь. Среди них оказался и юный Миша Винницкий. Получив оружие, он уже не расставался с ним. Он присоединился к молодежному отряду анархистов-террористов «Молодая воля».
В один осенний день Мишка, получивший за свои раскосые глаза кличку Япончик, постучался в дом одноглазого рыжебородого Мейера Герша, предводителя воровской Молдаванки. И тот, посоветовавшись на «правлении», дал добро на вхождение Винницкого в «дело». Первое задание он выполняет с блеском, и вскоре сколачивает собственную банду. Первоначально в нее входили лишь друзья детства. Волевой, хитрый и наглый Япончик в короткие сроки завоёвывает авторитет среди одесских налётчиков.
В бурные предреволюционные годы трудно было понять, где кончается криминал и начинается «борьба за освобождение трудящихся». Многие одесские анархистские группы – «Чёрный ворон», «Свободный сокол», «Анархисты-вымогатели» – являлись, фактически, организованными бандами с политическим прикрытием. Одна из вооружённых групп сожгла Одесское сыскное управление вместе со всеми хранившимися там следственными материалами и картотекой.
По приговору Одесского окружного суда от 2 апреля 1908 года Япончик был приговорен к 12 годам каторги в Сибири за ряд ограблений, в которых был уличён. На суде фигурировали дела о налёте на мучную лавку Ланцберга на Балтской дороге, налёте на квартиру Ландера в октябре 1907 года и другие.
Говорят, что его сокамерником был известный бессарабский грабитель, будущий красный командир, Григорий Котовский. На свободу Япончик вышел в марте 1917 года благодаря Февральской революции, которая открыла двери тюрем для «политических», в том числе и для анархистов.
В июле 1917 года Мишка Япончик появился в Одессе. Время было смутное, неразбериха во власти привела к невиданному разгулу криминала. Убийства, грабежи, кражи, вымогательства. Пользуясь старыми связями, Мишка Япончик сколотил вокруг себя группу энергичных, на всё готовых, парней. Группа заявила о себя несколькими громкими грабежами и нападениями. Было ограблено почтовое отделение на Ближних Мельницах, несколько магазинов и складов в центре города. Особую известность приобрело нападение на румынский игровой клуб. Налётчики, переодевшись в морскую форму, позаимствованную на вещевом складе Черноморского флота, ворвались в клуб в самый разгар игры. «Именем революции» забрали около 100 тысяч стоявших