Alleen al de naam Wittenburg geeft aan dat hier ooit een kasteel moet hebben gestaan. Dit werd in 1150 verwoest door Hendrik de Leeuw en vervangen door een nieuw kasteelcomplex, op de fundamenten waarvan in 1848 de officiële toren werd gebouwd.
De laatmiddeleeuwse poorttoren van het ooit massieve kasteelcomplex is het enige deel van het historische complex dat bewaard is gebleven, afgezien van enkele overblijfselen die vandaag de dag nog zichtbaar zijn. Dit is een deel van het neoklassieke officiële gebouw dat in 1848 werd gebouwd en waaraan de heuvel zijn huidige naam dankt. De ruïnes van de toren werden in 1998 gerenoveerd. Bezoekers kunnen hier meer te weten komen over de geschiedenis van de stad en in de lokale geschiedenissalon direct naast de toren. Op het glazen uitkijkniveau worden ook regelmatig wisselende tentoonstellingen gehouden. Het omliggende park is ook een bezoek waard.
