V roku 1960 sa vo veku 34 rokov stal Vogel starostom bavorského Mníchova a v tejto funkcii zotrval až do roku 1972. V rokoch 1974 - 1981 bol ministrom spravodlivosti. V roku 1981 pôsobil po dobu štyroch mesiacov vo funkcii úradujúceho starostu hlavného mesta Berlín. V roku 1983 bol aj kandidátom na kancelára, porazil ho však Helmut Kohl.
Vo funkcii šéfa sociálnych demokratov nahradil v roku 1987 Willyho Brandta a túto pozíciu zastával do roku 1991. V posledných rokoch trpel Vogel Parkinsonovou chorobou a spolu so svojou manželkou žil v jednom z mníchovských domovov pre seniorov.