Nachdem im Jahre 1766 die alte kurfürstliche Kaserne abgerissen worden war, erhielt das Garde-Regiment zu Fuß 1774 seine neue Kaserne im kurfürstlichen Baumagazin. Nach Wegzug des Hofes nach München (1778) behielt es auch in großherzoglich badischer Zeit diese Verwendung. Heute beheimatet es (neben der Stadtbücherei) das „XYLON - Museum + Werkstätten“