Vermutlich als staufische Kleinburg entstanden, war die Burg nach allen Indizien von einem gleichnamigen niederadligen Geschlecht bewohnt, das nur dürftig bezeugt ist. Die Bauinschrift „1325“, die nach der Schreibweise vermutlich im 16. Jahrhundert erneuert wurde, ist am Torbogen zum Keller des heutigen Hauptgebäudes erhalten geblieben. Die Burg Schwarzach wird erstmals im Jahr 1325 erwähnt und war seit 1419 im Besitz der Kurpfalz, aber bis in das 17. Jahrhundert hinein an niederadlige Geschlechter verlehnt. Nach dem Dreißigjährigen Krieg war sie Dienstsitz eines kurpfälzischen Unterbeamten, des Kellers zu Schwarzach und Minneburg. Zu ihren bedeutendsten Vertretern zählen die Keller aus der Beamtenfamilie Graeff, die fast 100 Jahre lang dieses Amt ausübten. Nach der Auflösung der Kurpfalz war die Burg noch wenige Jahre Sitz des badischen Amtes Neckarschwarzach, danach Forstamt.
Die Burg Schwarzach besitzt noch Bauteile, die in das 15. und in das 16. Jahrhundert datierbar sind. Von der Ummauerung sind Teile der Ringmauer, in der Schlüsselschießscharten zu sehen sind, weiter zwei Turmstümpfe, von denen einer aus dem Jahr 1596 stammt, sowie ein in der Ringmauer eingefügter Turm erhalten geblieben.
