Môžu za to gény, ktoré sídlia na chromozóme predávanom matkou. Jej výživa v tehotenstve je potom ďalším významným faktorom ovplyvňujúcim to, aké veľké prirodzenie bude mať jej syn.
Aj keď mužský pohlavný hormón Y určuje, že sa u plodu budú vyvíjať mužské genitálie, nie sú na tomto chromozóme gény určujúce veľkosť penisu. Tie sa nachádzajú na chromozóme X, ktorý dostáva každý človek na svete od svojej matky. Chromozóm X je oveľa väčší než Y a obsahuje teda viac génov. Ich variabilita vysvetľuje, prečo se medzi sebou často líšia aj súrodenci. A prečo sa líšia aj vo veľkosti penisu.
Medzi gény na chromozóme X, ktorý riadi vývoj penisu, je gén androgenného receptoru (AR). Ten riadi vývoj pohlavných orgánov krátko po oplodnení vajíčka. U embrya vzniká pohlavný terčík, na ktorý sa vďaka funkcii AR viaže testosterón, mužský pohlavný hormón. Jeho vplyvom sa potom vyvíja penis a semenníky. AR nemá priamy vplyv na veľkosť penisu, je to množstvo testosterónu, ktoré sa naviaže na príslušné bunky.
Ďalším kritickým obdobím vývoja penisu je tretí až šiesty mesiac po narodení, počas ktorého sa aktivujú gény MKRN3, KISS1R alebo SRD5A2. Tie ovplyvňujú produkciu pohlavných hormónov a ich funkcie, ktoré zase ovplyvňujú utváranie penisu. Dôležitá je premena testosterónu na silnejší androgén známy ako dihydrotestosterón. Čím viac dihydrotestosterónu, tým väčší penis.
Ďalšími faktormi ovplyvňujúcimi veľkosť mužovho penisu sú už tie negenetické, výživa matky v tehotenstve a výživa dieťaťa po narodení. A negatívny účinok na vývoj penisu môžu mať aj chemické látky dostávajúce sa do tela z prostredia. Ide najmä o ftaláty, ktoré sa používali v plastoch, z ktorých sa vyrábali hračky a obaly na potraviny. Muži, ktorí boli od narodenia vystavení účinkom ftalátu, mávajú v priemere menší penis.