Der Bau der Dietfurter Stadtbefestigung wurde 1444 von Herzog Albrecht III. von Bayern zu München angeordnet. Von wahrscheinlich 10 Wehrtürmen ursprünglich sind heute noch 6 Türme erhalten.
Der Hollerturm hieß früher auch Folterturm. Dieser wird in Ratsprotokollen von 1802 so bezeichnet. Früher hieß er auch Fröllenturm. Wie der Name Folterturm entstand, läßt sich nicht mehr feststellen. Dietfurt besaß nie das Recht zu foltern, alle schweren Vergehen unterstanden dem kaiserlichen Landgericht Hirschberg, das allerdings immer wieder Gerichtstage in Dietfurt abhielt.
Heute befindet sich dieser Turm im Besitz der Stadt Dietfurt. Das direkt an den Hollerturm angrenzende Haus wird seit dem Jahr 2010 den "Kunsttürmlern - Dietfurter Künstler" - zur Verfügung gestellt; auch Reste der Stadtbefestigung sind wieder zu sehen.
Neben dem Hollerturm steht seit 2007 der Drachenbrunnen, geschaffen von der Dietfurter Künstlerin Ute Mühlbauer. Zu besonderen Anlässen speit dieser Drache statt Wasser "Blut"!
