Die Befestigungsanlage gliedert sich in eine Haupt- und eine Vorburg. Verschiedene Brandhorizonte zeugen hier von unterschiedlichen Bauphasen. Zudem war die Zuwegung so angelegt, dass sie von der Burg aus bestens verteidigt werden konnte.

Der Weg hin zur Befestigungsanlage windet sich um den Berg. Ein Abschnittswall, Wegesperren und ein im Südosten des Berges gelegenes Plateau boten beste Möglichkeiten, diesen gegen Angreifer abzusichern.

Der Zugang zur Vorburg, die der Hauptburg westlich vorgelagert war, erfolgte durch ein Tor mit angeschlossenem Wachhaus. Sie ist so angelegt, dass sie als zusätzlicher Verteidigungsring genutzt werden konnte. Ansonsten wurde die Anlage durch ein größeres Gebäude gegliedert, bei dem es sich ehemals um ein kombiniertes Wirtschafts- und Wohngebäude für das Gesinde der Burg gehandelt hat.

Die über 1000m² große Hauptburg wird durch eine 1,45m mächtige, unregelmäßig geformte Ringmauer umschlossen, in der wohl ehemals im Osten ein Tor gelegen hat. In ihrem Zentrum befindet sich der Bergfried mit einem Durchmesser von 6,7m und einer heute erhaltenen Höhe von 12m. Er war ursprünglich deutlich höher, sodass die umliegende Landschaft von dort aus gut überblickt werden konnte. Neben diesem Turm lehnten sich ehemals drei größere, mehrstöckige Gebäude von innen an die Mauer an. Aus Schriftquellen ist ein Brunnen im Burginneren bezeugt.

Nachdem der Desenberg und die zugehörige Burganlage seit der ersten Erwähnung 1070 mehrere Male den Besitzer wechselte, wurde sie um 1200 teilweise zerstört, jedoch relativ bald wiederaufgebaut. In diesem Zusammenhang ging die Anlage in den Besitz der Familie Spiegel über, die spätestens seit 1256 auf dem Desenberg ansässig war. Diese stand im Dienste Corveys, besaß aber in Nordhessen auch eigene Besitztümer und entwickelte sich im Laufe des 13. Jh. zu einem vielseitig gebundenem Dienstmannengeschlecht. Spätestens mit der Gründung der Stadt Liebenau durch diese Familie und dem militärischen Ausbau der Burg zeigte sich deren Anspruch auf die Errichtung einer unabhängigen Herrschaft.

In den folgenden Jahren wurden die Angehörigen der Familie immer wieder Zeugen von und Teilnehmer an kriegerischen Auseinandersetzungen um die Stadt Warburg, bevor sie sich im ausgehenden 14. Jh. räuberischen Ritterbünden in führender Position anschlossen.

Nach einer weiteren Zerstörung der Burg und der Teilnahme der Spiegels an diversen weiteren Fehden verlor die Familie im 15. Jh. immer mehr ihrer Ämter, was zusammen mit der Unterstützung der Hessen in deren Fehde gegen den Bischof von Paderborn in der erneuten Zerstörung der Burg Desenberg in der zweiten Hälfte des 15. Jhs. mündete. Obwohl die Verteidigungsanlage in der Folge erneut wiederaufgebaut wurde, hatte sie ihre politische und militärische Funktion nun endgültig verloren, was zum Verlassen der Burg durch die nunmehr zerstrittenen Familienzweige führte und die Burg schließlich allmählich verfiel.