Man erzählt sich, dass dieser Turm früher als Arrestturm für straffällige Frauen genutzt wurde. Nach der Überlieferung befand sich am Turm ein Pranger an dem böse und zänkische Weiber zur Schau gestellt wurden. Wegen seiner abseitigen Lage an der Nordwestecke der Stadt scheint diese Vermutung jedoch wohl eher unwahrscheimlich, zumal im Zentrum am Rathaus, ein Pranger angebracht war. Vom Gericht abgeurteilte Frauen kamen in die sogenannte "Geige", ein Brett in Form einer Bassgeige, durch deren Löcher Kopf und Arme der Delinquentin gesteckt wurden. Eine andere Form der Bestrafung war die des "Steinetragens": dabei musste die Verurteilte einen schweren Stein von einem zum anderen Stadttor tragen. Es wird angenommen, dass der Turm als Sozialeinrichtung für benachteiligte Frauen gedient haben soll. Seit Beginn des 19. Jahrhunderts wurde er als Wohnung genutzt. Deutlich sind im oberen Geschoß noch Rußspuren einer offenen Feuerstelle zu erkennen. Welche Mühe musste es für die Bewohner gewesen sein, Brennholz, Wasser und Lebensmittel dort hinaufzuschleppen? So lebte hier von 1904-1920 die Witwe Walburga Beer mit ihren 4 Kindern.
Seit 1999 wird der Frauenturm seinem Namen wieder gerecht, in regelmäßigen Abständen treffen sich hier im kleinen Turmstüberl ein Kreis von sieben Frauen, die Literatürmerinnen zu kreativen Schreibseminaren.
