Проте неврологічні причини педофілії зустрічаються рідко. Здебільшого йдеться про людей, які завжди відчували сексуальний потяг до дітей. Причину такого потягу слід шукати найскоріше у певному розвитку мозку ще в матці або одразу після народження. Наша гендерна ідентичність та сексуальна орієнтація (гомо-, гетеро-, бісексуальність) визначаються генетичними схильностями та взаємодією між статевими гормонами дитини та мозку, що розвивається до її появи на світ (див. розділ IV. 3). Очевидно, педофілію можна також пояснити генетичними та іншими факторами на етапі раннього розвитку, які призвели до нетипового перебігу розвитку мозку і ще на ранньому етапі спричинили структурні зміни в ньому. У родичів першого ступеня виявили високий відсоток (18 %) відхилень у сексуальній поведінці, таких як педофілія, що вказує на наявність генетичного фактора. Крім того, в дитинстві педофіли самі часто були жертвами сексуальних домагань з боку дорослих.
Коли 2009 року його брата запідозрили в сексуальних домаганнях до власної доньки, лідер північно-ірландської партії Шинн-Фейн Ґеррі Адамс видав страшну сімейну таємницю: його батько ґвалтував своїх дітей. Залишається тільки дослідити, що саме є причиною педофілії: той факт, що доросла людина сама в дитинстві зазнала сексуальних домагань, чи успадкована в таких сім’ях генетика. Професор Ґайдусек (Gajdusek) представляє думку, що пережите в дитинстві сексуальне насильство згодом може призвести до розвитку педофілії. Дитиною він сам зазнав такого від дядька. Одного разу в США мені випала «честь» головувати в президії під час одного з виступів гіпоманіакального Ґайдусека. На радість своїм колегам, мені геть не вдавалося зупинити його. Потік слів був просто невгамовним. У селах центральної частини Нової Гвінеї Ґайдусек шукав причини масової смерті молодих жінок та дітей з ознаками деменції, які страждали від хвороби Куру. Тоді Нова Гвінея ще була нідерландською колонією. Ґайдусек знаходив дорогу за допомогою карт нідерландського генерального штабу, які він викрав в ендокринологічному відділенні професора Керідо в Лейдені. Він довідався, що причинами смерті жінок та дітей став канібалізм. Довгий час вони вживали в їжу мозок переможених ворогів. Причиною захворювання Ґайдусек назвав «повільний вірус». Згодом виявилося, що справа була, як і при коров’ячому сказі, в патогенних білках, так званих пріонах. 1996 року Ґайдусек отримав Нобелівську премію з медицини.