Im Giebeldreieck des Hohen Hauses steht portalähnlich ein rundbogiges Speichertor. Schräg über dem rundbogigen Türgewände im Erdgeschoß mit unten geböschten Pilastern findet sich die Wappentafel der Grafen von Fürstenberg- Heiligenberg-Werdenberg, die 1602 das Gebäude erwarben und es 200 Jahre lang als Amtshaus und Fruchtschütte nutzten.
Die Fürstenberger besaßen daneben noch weitere Häuser in der Stadt nebst Rebgärten und Weinzehnten. Nach 1800 diente das Gebäude als Kellerei und Lagerhaus des Bierbrauers und Weinhändlers Th. Müller; ab 1940 Ausstellungs- und Lagerhaus des Kaufhauses Kratt.