Первые годы детства прошли далеко не отрадно для впечатлительного, умного ребенка. Его гувернер, грубый и черствый немец, не имел на мальчика никакого нравственного влияния и действовал на него исключительно угрозами и наказаниями. Михаил Дмитриевич от природы обладал живой, пылкой натурой, любил пошалить, порезвиться, не прочь был иногда и полениться. Поэтому он часто строго наказывался гувернером.
Скобелев, человек добрый, но строгий, сквозь пальцы смотрел на такое грубое обращение гувернера с его сыном. В мальчике постепенно стали развиваться озлобление против деспота учителя, скрытность, мстительность. Он возненавидел всей душой своего тирана и придумывал разные способы, чтобы исподтишка мстить ему.
Однажды он вымазал ручку двери ваксой, чтобы франт гувернер запачкал свои белые перчатки, не раз старался выпачкать чем-нибудь его платье. Отношения между учеником и учителем стали натянутыми. Однажды в присутствии девочки, которая нравилась Михаилу Дмитриевичу, гувернер за что-то ударил его по лицу. Мальчик с озлоблением бросился на немца, плюнул ему в лицо, а затем дал пощечину. Вышел, конечно, семейный скандал. Дмитрий Иванович понял, что гувернер не имел никакого влияния на мальчика, что дальнейшее пребывание в доме такого педагога может принести не пользу, а вред. Немец был уволен.
После этого инцидента мать увезла сына в Париж и там отдала его в пансион Дезидерио Жирарде. Выбор воспитателя оказался удачным. Жирарде очень привязался к семье Скобелевых, подружился со своим воспитанником и часто сопровождал его в походах. По-видимому, влияние Жирарде на Скобелева было благотворно, по крайней мере Ольга Николаевна говорила, что Жирарде очень удавалось смягчить несдержанный характер сына. Влиянием же Жирарде, а также пребыванием во Франции можно объяснить в значительной степени и увлечение Скобелева французской культурой, сыгравшее в его политических взглядах и выступлениях большую роль.
Несмотря на военные традиции в семье, Скобелевы своего единственного сына стали готовить в университет. Впрочем, это решение отнюдь еще не означало, что родители отдавали предпочтение штатской карьере сына. Просто в ту эпоху высшее образование было в большом почете – в русском обществе вообще и среди военных кругов в частности. Скобелевы обратились к академику А. В. Никитенко с просьбой рекомендовать учителя для занятий, и он порекомендовал молодого преподавателя Т. И. Модзалевского (отца известного пушкиниста).