Nachweislich stand ab dem 11. Jahrhundert eine Burg auf dem Sandsteinfelsen über der Stadt. Ihre Blütezeit erlebte sie zur Zeit der Herren von Stein im 13. und 14. Jahrhundert. Letzte Bewohnerin war Dorothea Maria, Witwe des Pfalzgrafen Ottoheinrich ll. von Neuburg-Sulzbach. Sie starb im Jahr 1639 auf der Burg Hilpoltstein.
Die Burgruine wurde in den vergangenen Jahren archäologisch untersucht und saniert. Im östlichen Teil steht der Bergfried (Turm) mit drei Meter dicken Mauern. Während der Sommermonate bietet der Besuch auf dem Bergfried (nur möglich im Rahmen einer Führung) einen weiten Ausblick auf das Umland.
Der Keller am Burganger aus dem 11. und 12. Jahrhundert wurde in aufwendiger ehrenamtlicher Leistung vom Museums- und Heimatverein saniert.
Im April 2013 wurde der mittelalterliche Zugang zur Burg wieder eröffnet. Über einen stollenartigen Gang durch den massiven Steinfelsen gelangen die Besucher über eine steile Treppe zum Burghof.
