Das schiefwinklige Haupthaus ruht mit seiner Westfront auf der inneren Stadtmauer, die vom Schurkenturm die steile Schloßhalde hinunter zum Mühlkanal verlief. Das Haus wurde 1706 von der verwitweten Maria Johanna von Stuben gekauft, die aus dem Geschlecht der Freiherren von Hohenberg stammte, das aus der morganatischen Ehe von Erzherzog Ferdinand II. von Österreich-Tirol mit der Augsburger Bürgerstochter Philippine Welser hervorgegangen war.
Über dem Eingangstor zum Arkadenhof befindet sich das Allianzwappen derer von Stuben und des eingeheirateten Johann Franz von Barille. Um 1760 wurde in dem Gebäude von der Tuchhändlerfamilie Geßler eine Seidenmanufaktur und Färberei eingerichtet, der 1880 als nächste Werkstätte das Bildhaueratelier des Peter Paul Hausch folgen sollte. 1984 wurden bei der Sanierung des Stubenschen Schlößchens Eigentumswohnungen eingerichtet.
