Сімейне життя в батьків Миколи не складалося. І це при тому, що вони встигли народити п’ятьох дітей. Батько полюбляв перехилити чарку й мав агресивну вдачу. У своїй «Короткій біографії» Хвильовий згадує себе у віці 5–6 років і описує незабутні драматичні враження-блискавки від сімейного життя батьків: «… Я знаю, що не можу допомогти матері, коли він (батько. – Р. К.) почне тягати матір за волосся, я вчепляюся в його ногу й доти буду безумно її кусати, поки він не відкине мене від себе й не зажене в якийсь закуток». Або: «Пам’ятаю місячні ночі. Міцний мороз…. На снігу в самій білій сорочці й босоніж стоїть, похилившись на стару березу, моя сіроока печальна мати: вона втекла від батька, коли він тягав її за волосся. «Боженьку, – мовчки молюся я, – куди ж ти дивишся?» Але: «Дякуючи батькові, рано перечитав російських класиків, добре ознайомився з Діккенсом, Гюґо, Флобером, Гофманом». Все-таки – завдяки батькові.
Єлизавета Іванівна, яка, як згадувала наприкінці життя її дочка Іраїда, курила і вирізнялася інтелігентськими манерами, у 1905 році, стомившись від злиднів та пиятики чоловіка, разом із дітьми, старшим Миколою і трьома його сестрами – Євгенією, Людмилою, Валентиною і братом переїздить на хутір Зубівку до своєї рідної сестри, що була одружена з заможною людиною Миколою Смаковським, якого знали як земського начальника. Саме Смаковський і родина Савичів (ще один материн родич) заопікувались юнаком. Жили там, аж поки матір не дістала посаду вчительки. Її умовили залишити старшого сина у родині Смаковського. Із Зубівки Миколу возили щодня до школи у село Калантаєво. Закінчив вищу початкову школу у місті Красний Кут. Чи не тому, що тут, у ремісничій школі, вчителював його батько? Микола згадує, як ходив тоді з батьком на рибалку…
Так і зростав, ніби прихилившись до матері, та намагаючись не втратити прихильності батька. І ніщо начебто не провіщало, що виростає майбутня видатна мистецька особистість. Хіба що віддалене – завжди підвищений нервовий стан, бунтівний характер і непосидющість.
Його двоюрідна сестра Лариса Миколаївна Смаковська характеризує Миколу як «великого пустуна», хлопця «непосидющого і невгамовного», який, втім, мав велику пристрасть до читання. Читав усе підряд, що знаходив у бібліотеці, захоплювався, зокрема, біографією Фрідріха Ніцше.
Потім вступає до гімназії і провчився до 6-го класу, після чого його виключають з гімназії. Друг дитинства Юрій Самброс, який у 1920-х роках був працівником народної освіти, сказати б, її українізатором, згадує про Кольку Фітільова – «довготелесого парубка, розбишаку, ватажка бешкетливої купки сільських підлітків…». Батьки добропорядних сімей забороняли дітям мати справу з «розбишакою» Фітільовим. Але бешкетування підлітка мало, так би мовити, політичні підстави. Є глухі відомості, що «розбишаку»