Das heutige Gebäude stammt nach den Ergebnissen der
bauhistorischen Datierung aus dem Jahre 1707 und damit aus der Wiederaufbau-Ära nach dem Stadtbrand Brettens. Im Mittelalter befand sich an dieser Stelle der Brettener Zehnthof des in der Region reichbegüterten Nonnenklosters Frauenalb. Aus dieser Zeit stammen auch noch die mächtigen und weitläufigen Kellergewölbe unter dem Schweizer Hof, die schon für sich allein eine Sehenswürdigkeit darstellen.
Von 1997 bis 2001 wurde der Schweizer Hof von der Bürgerinitiative Brettener Heimatund Denkmalpflege ehrenamtlich saniert. Das Deutsche Schutzengelmuseum zeigt auf zwei Ebenen rund 300 Exponate zum Thema Schutzengel, Schutzgeister und Schutzgötter. Seit 2002 ist hier außerdem das stadt- und regionalgeschichtliche Museum der Stadt Bretten untergebracht.
