Das Schloss geht vermutlich wie viele dieser Burgen und Schlösser im Oberen Donautal auf eine Burg aus dem 11. Jahrhundert zurück. Die Herren von Werenwag spielten als Dienstmannen der Hohenberger und der Habsburger im Spätmittelalter eine ziemlich bedeutende Rolle. Bekannt geworden ist vor allem auch der Minnesänger Hug von Werenwag. Im Jahr 1629 kam das Schloss in Besitz der Fürsten von Fürstenberg, die vor allem vom Städtchen Meßkirch aus im Donautal größere Besitzungen verwaltete. Nach einem zwischenzeitlichen Verkauf im 18. Jahrhundert kam das malerische Schlösschen um 1830 wieder an die Fürstenberger zurück. Bis heute ist es im Familienbesitz des Hauses Fürstenberg und wird bewohnt. Deshalb ist es leider für die Öffentlichkeit nicht zugänglich.
