Smith bol v rokoch 1991-1998 hlavným trénerom Rangers, na lavičku rovnakého klubu sa následne vrátil počas obdobia od roku 2007 do 2011. Pod vedením skúseného Škóta získal slávny klub desať ligových titulov, päťkrát Škótsky pohár a šesťkrát jeho ligovú obdobu. Až dvakrát bol vo svojom rodisku vyhlásený ako najlepší tréner roka.
Na prelome tisícročí pôsobil v Evertone, nakrátko sa stal aj asistentom trénerskej legendy Alexa Fergusona v Manchesteri United. Tri roky viedol aj škótske reprezentačné mužstvo, s ktorého tímom do 18 rokov vyhral v roku 1982 európsky šampionát. Jeho zverenci vo finále zdolali Československo 3:1.
„Je prakticky nemožné vyjadriť, čo Walter pre každého v Rangers znamenal. Stelesňoval všetko, čím by každý Ranger mal byť,“ uviedol klub v prehlásení na sociálnych sieťach.