Jeho otec, starý otec i prastarý otec boli architektmi. Otec - Albert Speer - bol obľúbeným architektom nacistického vodcu Adolfa Hitlera a neskôr, počas druhej svetovej vojny, pracoval ako minister vyzbrojovania a vojenskej výroby.
Speer mladší vyštudoval architektúru v Mníchove. Svoje prvé medzinárodné ocenenie získal v roku 1964, keď otvoril aj vlastnú architektonickú kanceláriu, ktorá sa neskôr okrem iného podieľala na projekte sídla Európskej centrálnej banky vo Frankfurte či výstaviska Expo 2000 v nemeckom Hannoveri. Vypracoval aj projekty na štadióny v Katare, kde sa v roku 2022 budú konať futbalové majstrovstvá sveta.
V roku 1977 sa stal profesorom urbanistického plánovania na technickej univerzite v Kaiserslauterne. Speer starší bol oddaným nacistom. Jeho najvýznamnejším dielom bol areál so štadiónom na Zeppelinfielde v Norimbergu. Medzi ďalšie významné realizácie patrila stavba Nové ríšske kancelárstvo, ale aj plán na prestavbu Berlína s veľkou halou – najväčšou stavbou sveta -, ktorý vychádzal z pôvodných skíc Adolfa Hitlera. Po druhej svetovej vojne bol Speed starší norimberským tribunálom odsúdený na 20 rokov väzenia.
