Nachweislich stand ab dem 11. Jahrhundert eine Burg auf dem Sandsteinfelsen über der Stadt. Ihre Blütezeit erlebte sie zur Zeit der Herren von Stein im 13. und 14. Jahrhundert. Letzte Bewohnerin war Dorothea Maria, Witwe des Pfalzgrafen Ottoheinrich ll. von Neuburg-Sulzbach. Sie starb im Jahr 1639 auf der Burg Hilpoltstein.
Die Burgruine wurde in den vergangenen Jahren archäologisch untersucht und saniert. Im östlichen Teil steht der Bergfried (Turm) mit drei Meter dicken Mauern. Während der Sommermonate bietet der Besuch auf dem Bergfried einen weiten Ausblick auf das Umland.
Der Keller am Burganger aus dem 11. und 12. Jahrhundert wurde in aufwendiger ehrenamtlicher Leistung vom Museums- und Heimatverein saniert. Für Kulturveranstaltungen und als Trauzimmer für Hochzeiten im historischen Stil bietet der Keller am Burganger ein wunderbares Ambiente.
Im April 2013 wurde der mittelalterliche Zugang zur Burg wieder eröffnet. Über einen stollenartigen Gang durch den massiven Steinfelsen gelangen die Besucher über eine steile Treppe zum Burghof.
Informationstafeln geben beim Rundgang durch die Burganlage Auskunft über die Geschichte des Wahrzeichens der Stadt.
