Die Burg besteht aus einem dreieckigen Kernwerk und einem kleinen Annex im Norden, welcher wahrscheinlich einer anderen Bauphase entstammt. Wegen des sehr symmetrisch anmutenden und an mittelalterliche Vor- und Hauptburgen erinnernden Grundrisses, werden beide wohl fälschlicherweise auch als Haupt- und Vorburg bezeichnet.

Vom Annex, der durch eine Mörtelmauer aus Grauwacke eingefasst war, sind heute im Gelände nur noch wenige Spuren zu erkennen. Zum Burginnern führte eine schmale Torgasse, an deren Ende ein Torhaus stand. Mauern und Torhaus unterscheiden sich deutlich vom Kernwerk.

Dessen Mauern bestanden nämlich aus in sandigen Mörtel gesetzten Faulschiefer-Bruchsteinen. Im Bereich des Südtors und des Nordtors weisen Befunde die Existenz von Torhäusern nach. Zumindest für den Bereich des Südtors ist zudem ein hölzerner Torturm wahrscheinlich.

Die Ruine im Innern der Kernburg gehört zu einem Kirchenbau. An dieser lassen sich mindestens drei Bauphasen unterscheiden. Im Umfeld der Ruine finden sich darüber hinaus Hinweise auf weitere Gebäude und umfangreichere Umgestaltungsmaßnahmen.

Der Name „Borbergs Kirchhof“ könnte auf den heiligen Burchard zurückzuführen sein, dessen Verehrung ab etwa 1000 n. Chr. in Westfalen zunahm. Einige Bestattungen des kleinen Friedhofes entsprechen nämlich in Art und Ausstattung der Begräbnisssitte dieser Zeitstellung, weshalb ein Friedhof unter dem Patronat dieses Heiligen an dieser Stelle durchaus denkbar wäre.

Nach volkstümlichen Überlieferungen soll auf dem Borberg zudem ein Nonnenkloster gestanden haben. Hinweise darauf finden sich aber nur sehr spärlich in den Schriftquellen. So existiert eine vor 1380 datierte Erwähnung einer „capellam in Borghardes berghe“, die zum Stift Geseke gehörte, sowie die Nennung einer Kirche auf dem Borberg aus dem Jahre 1582. Sicher ist allerdings, dass die Verteidigungsanlage spätestens mit Errichtung des kleinen Kirchenbaus im 12. Jahrhundert keinen Nutzen mehr hatte, da hierzu Teile des Walls abgetragen wurden.