Die zur Stadtseite auf halber Höhe sichtbare Tür ist der ursprüngliche Eingang zu den oberen Stockwerken und war früher durch eine angebaute Holztreppe erreichbar.
Auf dem Terrain der "Hölle" standen in den letzten anderthalb Jahrhunderten zwei traditionsreiche Radolfzeller Betriebe: die 1836 von Martin Müller gegründete Brauerei HÖLLE und von 1922 bis 1981 die Obstbaugenossenschaft Bodensee. Heute befindet sich hier die Höllturm-Passage mit Geschäften und Gastronomie.