Die Kaltenburg liegt nahe der Charlottenhöhle und erhebt sich in Spornlage über dem Tal, in dem sich Hürbe und Lone treffen. 1356 wird die Anlage erstmals explizit urkundlich erwähnt. An dem großen Buckelquadermauerwerk, welches erhalten geblieben ist, lässt sich erkennen, dass die ältesten Teile bereits aus Staufischer Zeit stammen.
Vom Innenhof aus, in dem sich ein neu geschaffenes Atrium mit Sitzsteine befindet, bietet sich ein grandioser Ausblick auf das Hürbe- und Lonetal und den Zusammenfluss der beiden Gewässer direkt unterhalb der Burg. Dies ist ein idealer Rastplatz für Wanderer.
Ganz in der Nähe der Burg haben sich die Württemberger Ritter niedergelassen. Jährlich findet an einem Wochenende im Juni das große Ritterturnier mit regem Markttreiben in Stetten statt.
