Um 1050 wird die Burg als staufische Anlage zur Sicherung wichtiger Handelswege erbaut, wechselte nach 1300 in den Besitz der Ritter von Seckendorf, 1368 in den Besitz von Graf Eberhard dem Greiner von Württemberg, 1415 in den Besitz der Edlen von Hürnheim und 1551 geht die inzwischen mächtige Burganlage an die Augsburger Fugger, von denen 1575 bis 1577 die Burg um- und ausgebaut wird.
Im Jahr 1838 kam dann die Burg in den Besitz des damaligen Königreiches Württemberg und wurde von 1966 bis 2020 als Bildungs- und Freizeitstätte genutzt. 1993–2000 fanden umfangreiche Sanierungsarbeiten statt.
