Die Römer begannen Ende des ersten Jahrhunderts nach Christus, auf der Geländeterrasse in unmittelbarer Nähe der heißen Quellen Bäder zu errichten. Das Zentrum des Kurbetriebs erstreckte sich vom Markt- bis zum heutigen Römerplatz.
Auf der Nordseite der Stiftskirche wurden 1847 vier mit Marmor und grünlichem Granit ausgekleidete Badebecken freigelegt. Die äußerst qualitätvolle Ausstattung der Thermenanlage führte in Verbindung mit einer dort gefundenen Inschrift des römischen Kaisers Caracalla (188 – 217) zu der Bezeichnung „Kaiserbäder“. Der Grundriss der „Kaiserbäder“ ist im Pflaster des Marktplatzes farblich abgesetzt.
Der Marktplatz, wo allwöchentlich Märkte abgehalten wurden, war lange Mittelpunkt des städtischen Lebens. Seit dem Mittelalter waren der nördliche und östliche Teil des Platzes bebaut. Direkt am Fuße des Florentinerberges verlief die Höllengasse mit einer durchgängigen Bebauung. Zum Marktplatz hin wurde sie vom Gasthaus Rose begrenzt, das in der Mitte des heutigen Platzes stand. Der östliche Teil des Platzes bis zum Garten des Klosters vom Heiligen Grab bildete seit dem Mittelalter den Kern des Bäderbezirks. Hier befanden sich beim Austritt der Thermalquellen die Freibäder, die von Einheimischen und Armen kostenlos genutzt wurden, sowie mehrere Badeherbergen für auswärtige Gäste, in denen Wannenbäder verabreicht wurden. Nach weitreichenden Zerstörungen beim Stadtbrand 1689 lag das Gelände fast hundert Jahre brach.
Das Aufkommen des Bädertourismus im frühen 19. Jahrhundert machte eine Neugestaltung des Areals um die Thermalquellen notwendig. Der badische Baudirektor Friedrich Weinbrenner (1766 – 1826) errichtete hier mit der Antiquitätenhalle, einem Dampfbad und einer Trinkhalle ein klassizistisches Gebäudeensemble, das später dem Altem Dampfbad und Friedrichsbad weichen musste. Die großzügige Freifläche des Marktplatzes entstand im Laufe des 20. Jahrhunderts. 1937 wurde das Gasthaus Rose abgebrochen. Bis zum Jahr 1970 wurden alle Häuser der Höllengasse zum Schutz der Thermalquellen beseitigt. Zur Landesgartenschau 1981 wurde entlang der alten Höllengasse eine Grünanlage gestaltet.
