Gegen Ende des 17. Jahrhunderts hausten hier "Zigeuner". Die zahlreichen Schluchten und Höhlen boten ideale Schlupfwinkel, außerdem lag die gewaltige Felsengruppe unmittelbar an der Grenze zwischen dem Fürstbistum Eichstätt und dem Fürstentum Pfalz-Neuburg - heute die Grenze zwischen den Landkreisen Eichstätt und Neuburg - und war deshalb als Zufluchtsort besonders geeignet, da man mit ein paar Schritten über die "Landesgrenze" fliehen konnte. Doch hatten die "Zigeuner" in ihrem Unterschlupf keine lange Bleibe: Als eine Gruppe von ihnen 1699 in Neuburg beim Einzug des Kurfürsten Johann Wilhelm aufspielte, sahen sie auch die Kunstschätze des Neuburger Schlosses. Ihr Anführer stieg deshalb nachts in das Schloss ein, um ein Gemälde mit goldenem Rahmen zu stehlen. Er wurde dabei auf frischer Tat ertappt, zum Tode am Galgen verurteilt und hingerichtet. Die Zigeunersippe verschwand daraufhin aus der Gegend von Wellheim, nur die unheimliche Stätte mit ihren romantischen Felsgebilden bewahrt noch heute ihren Namen.
Hinweis: Der Begriff „Zigeunerloch“ ist Teil der aus dem 17. Jahrhundert tradierten Sage zu diesem Ort und wird als Bezeichnung bis heute auch in Kartenwerken so geführt. Die Bezeichnung „Zigeuner" wird deshalb hier lediglich im historischen Kontext und ohne diskriminierende Konnotation weiter verwendet.
