С матерью Нерону повезло: она всегда ходила по краю бездны, вложив в него готовность действовать всеми дозволенными и недозволенными способами. Она заразила его собственным пренебрежением к людской жизни и страстью властвовать. Пока Агриппина строила планы своего восхождения к вершинам власти, отец мальчика, Рыжебородый (так переводится имя Агенобарб), бесцеремонно заявил, что «от него и Агриппины ничего не может родиться, кроме ужаса и горя для человечества». Но скорее всего, Светоний намеренно приписал эти слова Агенобарбу, он этим хотел подчеркнуть не столько предопределенность порочности Нерона, сколько гнусные качества его отца. Действительно, Агенобарб, будучи внуком Марка Антония и сестры Августа Октавии, не унаследовал ничего достойного от своих именитых предков. Разврат, инцест и убийства были характерны для этого пресыщенного и на редкость циничного человека. Однажды он убил своих вольноотпущенников только за то, что они не могли пить столько, сколько он им велел. И, безусловно, маленький Нерон, подрастая, ощущал удушливое и разрушающее его личность действие недоброй славы как отца, так и матери. Как и Агриппину, Агенобарба обвиняли в кровосмесительной связи со своей сестрой, и так же, как у дочери почитаемого Германика, у него напрочь отсутствовали моральные принципы и даже малая толика желания прислушиваться к общественному мнению. Он умер, когда сыну было три месяца, поэтому в наследство Нерону достались лишь нелестные слухи о его беспутном родителе.
Женская идентификация Нерона очевидна, и во время взросления мать не столько перестаралась с внушениями, сколько со способом их подачи. Хотя в первые годы жизни он видел лишь женщин любящих и заботливых, ободряющих и предсказывающих его будущее царствование, мать всегда навязчиво доминировала над всеми. Сначала она, а затем, когда Агриппина вместе с младшей сестрой Ливиллой была сослана Калигулой на Понтийские острова за участие в заговоре против него, его тетка Лепида занимались воспитанием будущего принцепса. Историки указывают, что эта бездетная женщина, преисполненная искренней любви и нежности к мальчику, оставила заметный след в его жизни, выражавшийся в природной мягкотелости и склонности к «немужским» занятиям. Эти черты позже жестоко и бессердечно пыталась искоренить его мать, но, похоже, своей категоричностью и нетерпимостью к любым другим формулировкам, кроме собственных, она лишь усугубила положение. Любопытно, что однажды Агриппина заставила сына-подростка свидетельствовать против любящей его тетки, чтобы осудить ту на смерть, и сделала это только из желания устранить потенциальную претендентку на власть. Мать, как ни странно, стала, таким образом, первым человеком, стремившимся убить в нем способность любить. Интерпретируя процесс воспитания Нерона, историк Игорь Князький настаивает на контрастности образов Агриппины и Лепиды, связывая с этим формирование противоречивого восприятия