História Château de Saumur siaha 1000 rokov dozadu, keď bol súčasťou ochranného opevnenia voči bojovným Normánom. Pôvodná budova ľahla popolom na konci 11. storočia a dnešnú podobu dostal až po tom, čo sa stal majetkom francúzskeho kráľa Filipa II. Augusta. Po stáročia menil majiteľov a istý čas tu boli kasárne a väzenie.
Od roku 1862 je zapísaný do zoznamu Historických monumentov Francúzska. Bolo tu zriadené múzeum dekoratívnych umení a konské múzeum i múzeum hračiek. Milovníci jazdectva by nemali vynechať návštevu Národnej jazdeckej školy Cadre Noirv v meste pod zámkom.