Das im 15. Jahrhundert vom Landkomtur Melchior von Neuneck erbaute Kirchlein steht auf 594 Metern Höhe auf dem bewaldeten Uhlberg. Zuvor befand sich dort ab 1140 ein kleines Benediktinerinnenkloster mit Marienbildstock, das sich zu einem Pilgerort entwickelte. Die Uhlbergkapelle wurde der Schutzpatronin des Deutschen Ordens "Maria" geweiht. Erwähnt wurde das 26 x 10 Meter große Gebäude erstmalig 1466 in einem Ablassbrief des Papstes Paul II. Während des Bauernkrieges wurde sie am 1. Mai 1525 verwüstet und die Madonnenfigur verschwand. Danach setzte der Verfall ein. Eine Restaurierung erfolgte 1629. Im 18. Jahrhundert versammelte sich dort eine pietistische Sekte, die von verschiedenen Erscheinungen berichteten. Heute unterhalten die Bayerischen Staatsforsten das Gemäuer.
Da der Ort sagenumwoben ist, ist er ein gewisser Anziehungspunkt für Menschen mit mystischen oder gar satanischen Ausprägungen. Leider kam es auch immer wieder zu Vandalismus. So wurde die 1989 in der Kapelle aufgestellte neue Madonnenfigur des Künstlers Ernst Steinacker bereits 1993 wieder zerstört. Blutspuren, die auf eventuelle Tieropfer hinweisen, Drudenfüße an den Wänden sowie Äste, die ein umgedrehtes Kreuz bilden, wurden ebenfalls bereits gefunden. Die bekannteste Legende besagt, dass dort eine weiße Frau spuken solle. Außerdem werde dort die Römerstadt Aureum vermutet oder ein Schatz, der von weißen Gestalten und Raben bewacht werde.
In der Nähe der Ruine befand sich das ehemalige Jagdhaus eines Försters, das 1800 errichtet wurde. Gegen Ende des zweiten Weltkrieges versteckten sich dort gesuchte Nationalsozialisten, die aber von der US-Armee entdeckt und inhaftiert wurden. 2012 wurde das Haus durch Vandalismus stark beschädigt und wurde daraufhin abgerissen.
