К 1874 году, когда родился Фрост, прошло чуть больше дести лет после окончания Гражданской войны. Отец его, Уильям Прескотт Фрост-младший, служил школьным учителем, подрабатывал журналистом, затем стал редактором «San Francisco Evening Bulletin» (позже – часть знаменитого «San Francisco Examiner»). Не признанный «своими», яростный демократ, игрок, выпивоха, попросту – алкоголик, страдавший от раннего туберкулеза, не пожелавший смириться ни с болезнью, ни с физической слабостью, Уильям Фрост был потомком Николаса Фроста из Тивертона, графства Дэвон, Англия. Один из первых поселенцев (провинция была основана в 1623 году), Николас Фрост прибыл в Нью-Гемпшир на английском судне «Wolfrana» в 1634 году.
Первые годы жизни Робби провел под крылом матери, Изабел, жалевшей боязливого, болезненного мальчика. В отличие от мужа, мать Фроста – ревностная протестантка, затем перешедшая в унитарианскую церковь, – постоянно искала духовного покоя и приюта своим «идеям». После увлечения унитарианством, она стала сведенборгианисткой – прихожанкой Новой церкви, или Церкви Нового Иерусалима. Прочтя Эмерсона, она приняла философию, условно названную трансцендентализмом.
Вспоминая годы, прожитые в Сан-Франциско, вдова Уильяма Прескотта Фроста-младшего любила напоминать своим детям, что их отец был человеком необыкновенным, почти героическим. С годами рассказы о нем стали все больше напоминать легенду, а свои воспоминания о жизни в Калифорнии женщина старалась окрашивать в самые радужные цвета. Жизнь была полна обещаний, и лишь случайности и неудачи разрушили предстоящее счастье. Своего покойного мужа она постаралась представить как некоего мифического героя, кумира ее юности, ушедшего из жизни во цвете лет.
Необычайно одаренный, упрямый, честолюбивый, деятельный, увлекающийся политикой, вспыльчивый, Уильям не пожелал подчинять свою жизнь протестантским ограничениям Новой Англии. В жажде нового, вечно в поисках, метаниях, он стремился переупрямить судьбу. Яростный борец с ханжеством, Уильям Фрост отказывался ходить в церковь, издевался над всяческими «предрассудками» и суеверием. Может, именно от него унаследовал будущий поэт тот внутренний разлад, что заставляет искать все новые пути для самопознания? Если снисходительная мать во всем потакала мальчику, отец, в противовес Изабел, третировал маленького Роберта, наводя на него ужас. Не прощая ему ни малейшей слабости, Уильям хотел сделать из сына спортсмена, таскал за собой повсюду, заставлял плавать, учил быть «мужчиной». Неизлечимо по тем временам больной, он не желал мириться с этой «слабостью», совершая атлетические заплывы в заливе Сан-Франциско. Маленький Роберт потерянно бродил по берегу, никогда не зная, вернется ли отец обратно из очередного «заплыва». На берегу ждала спасительная бутылка виски – Уильям верил, что спиртное оказывает лекарственное действие, «очищая» организм от чахотки. Они также ходили на бойню, где отец в целебных целях