* Margaretha van Pamel(e) en Ledeberg-Reinier de Bornival-Jan Meeuwe
Zij beheerden de heerlijkheid Pamel-Ledeberg van ca. 1307 tot ca. 1345.
Margaretha en Reinier de Bornival verkochten in 1308 de (al verpande) kasteelhoeve aan de abdij.
Nadien kwamen Margaretha en Jan Meeuwe in dispuut met Hendrik van Leuven, slotvoogd van Gaasbeek, over beider rechten te Pamel, rechten die in 1319 werden opgenomen in een een akte.
* Jan II van Waver, heer van Pamel en Ledeberg.
Hij beheerde de heerlijkheid Pamel-Ledeberg van ca. 1345 tot ca. 1378.
In 1356 rukten troepen van de graaf van Vlaanderen op naar Brussel. Op hun weg vernielden zij hoeven en versterkingen o.a. in Pamel. Of ook het kasteel in de Kammeersen grote schade opliep is niet bekend. De Brabanders werden bij Scheut verslagen. Onder hen Jan van Waver, die zelfs trouw moest zweren aan de graaf van Vlaandeeren.
* Margaretha/Margriet van Waver, vrouwe van Pamel en Ledeberg-Jan van Aarschot- Schoonhoven.
Zij beheerden de heerlijkheid Pamel-Ledeberg van ca. 1378 tot 1391.
* Jan van Schoonhoven deed al in 1391 afstand van de heerlijkheid Pamel-Ledeberg door verkoop.
* Everard Boote-Margriet van Schoonhoven
Zij beheerden de heerlijkheid Pamel-Ledeberg van 1391 tot ca.1397.
In 1391, onmiddellijk na de overname van de heerlijkheid, liet Everard een cijnsboek aanleggen, ‘Dit es dboec van pamele ende was ghemaect int jaer XCI omtrent sente mertes misse’. Het geeft een opsomming van de vercijnsde goederen, een overzicht van de verpachte gronden van de heer, de oppervlakte van zijn bossen, een omschrijving van zijn rechten binnen Pamel. Ook de borch/het kasteel werd erin vermeld, staande op 7 dagw. land. (5) Er lagen ook twee 'bogaerden voer de borch te pamele', die door de heer werden verhuurd.
In 1395 kwam Everard tot een akkoord met de abdij van Ninove: in ruil voor alle karweien en heerlijke rechten verbond de abdij er zich toe aan de heer jaarlijks 9 mud haver en 700 lange faloerden (= mutsaarden) brandhout te leveren; ook een of twee jachthonden op te houden en in oorlogstijd een wagen op te tuigen. Maar twee jaar later, in 1397, juist voordat hij de heerlijkheid verkocht (!), ontsloeg hij de abdij van al deze karweien en heerlijke rechten.
* Nicolaas Vijd
Hij beheerde de heerlijkheid Pamel-Ledeberg van ca. 1397 tot 140x.
In 1398 kwam 'claus vyte here van pamele' (6) naar Pamel, voor de verpachting van de molen; enige tijd later ook voor de verhuur van brouwerij de Kam.
Omdat er toen van een verhuur van het kasteel geen sprake was, hebben Nicolaas en nadien ook zoon Joos, op momenten dat ze naar Pamel 'moesten' komen, waarschijnlijk op het kasteel gewoond.
* Joos Vijd
Hij beheerde de heerlijkheid Pamel-Ledeberg van 140x tot 143x.
In 1408 werd Joos te Pamel gesignaleerd naar aanleiding van de verpachting van goederen, in 1409 voor de betaling van achterstallige pachtgelden.
* Mabelie Vijd-Godfried Raes
Zij beheerden de heerlijkheid Pamel-Ledeberg in 143x.
* Gundola Raes-Jean Vilain
Zij beheerden de heerlijkheid Pamel-Ledeberg van 1439 tot ca, 1460.
* Gundola Vilain-Jean de Montmorency/Margaretha Vilain-Adriaan Van Kruiningen
Zij beheerden de heerlijkheid Pamel-Ledeberg van ca. 1460 tot 148x.
* Jan van Kruiningen
Hij beheerde de heerlijkeid Pamel-Ledeberg van 148x tot 12/9/1501.
Onder hem werd in 1497 begonnen met het opstellen van een ‘Rentboec van Pamele ende leedberghe'.
* Floris van Borsele(n)
Hij beheerde de heerlijkheid Pamel-Ledeberg van 12/9/1501 tot 150x.
* Margaretha de Montmorency-Arnold van Hoorn
Zij beheerden de heerlijkheid Pamel-Ledeberg van 150x tot 15xx.
* Maximiliaan van Hoorn
Hij beheerde de heerlijkheid Pamel-Ledeberg van 15xx tot 25/2/1538.
* Anna van Hoorn-Jacques de Croy
Zij beheerden de heerlijkheid Pamel-Ledeberg van 25/2/1538 tot 1555/15xx
* Anna de Croy-Nicolaas de Montmorency
Zij beheerden de heerlijkheid Pamel-Ledeberg van 15xx tot 1617
Van hen is geweten dat ze geregeld in het kasteel verbleven.
Over Anna de Croy werd later verteld dat ze zoveel van Pamel en het kasteel hield dat ze na haar dood bij heldere nachten kwam zitten op een grote grenspaal van haar kasteelgeleeg om het te aanschouwen. (7)
* Anna de Croy-Claude d'Ongnies
Zij beheerden de heerlijkheid Pamel-Ledeberg van 1617-1664.
Anna de Croy liet haar Pamels kasteel opknappen door schilder Jan Courtois uit Antwerpen.
Ook zij vertoefden regelmatig op het kasteel; zo ging er in 1623 een ruil van gronden door met de abdij van Ninove en waren naast Anna en Claude ook de abt, de prior en de supprior aanwezig.
Bij oorlogsgeweld werden alle kerkelijke kostbaarheden opgeborgen in hun huis te Brussel.
*Côme Claude d'Ongnies
Hij beheerde de heerlijkeid Pamel-Ledeberg van 1664 tot 1709.
Is de verwaarlozing van het kasteel onder hem begonnen? Zeker is dat 18 Pamelse boeren in 1693, om hun graanvoorraden te vrijwaren tegen plunderende soldatenbenden, 8 zakken tarwe, 11 zakken gerst, 14 zakken haver en 26,5 zakken koren borgen in de ‘onderste salette ende andere plaetsen’ van het kasteel. Datzelfde jaar sloten ook enkele Pamelaars zich met hun vee en huisraad op in het kasteel. Maar soldaten braken de poorten open en roofden er voor een bedrag van 6000 florijnen.
* Ferdinand Joseph d'Ongnies
Hij beheerde de heerlijkheid Pamel-Ledeberg van 1709 tot ca.1723.
In 1713 kreeg Pieter Aernout Lindemans van hem de toelating om op Ledeberg een school te beginnen.
* Antoine Henri d'Ongnies
Hij beheerde de heerlijkheid Pamel-Ledeberg van ca. 1723 tot 1740.
* Maximilienne Thérèse d'Ongnies-de Croy Alexandre
Zij beheerden de heerlijkheid Pamel-Ledeberg van 1740 tot 7/7/1774.
In 1772 woonde meier/baljuw Engelbert Blockmans op het kasteel. Op de buitenzijde van een brief van de advocaat te Brussel stond: 'Te bestellen aan den heer bailly van Pamele, langhs Aelst en Ninove naer en op het casteel te Pamele'.
* Othon Henri d'Ongnies
Hij beheerde de heerlijkheid Pamel-Ledeberg van 7/7/1774 tot 18/6/1791
In 1784 stelde Othon Henri zijn vervallen kasteel te koop. De verkoopvoorwaarden hielden het verdwijnen in van het kasteel:
- Het kasteel, de stallingen, de brug, de poorten en ringmuren moeten afgebroken worden.
- Indien er in het kasteel kostbare meubelen, goud, zilver, penningen of andere schatten aangetroffen worden, dan moet de koper daarvan baljuw Van den Abbeelen in kennis brengen.
- De afbraakwerken geschieden volledig op kosten van de koper en hij is verantwoordelijk voor eventuele ongelukken.
- Met het puin van de afbraak moet de koper de wallen en de vijver die rond het kasteel liggen, opvullen en ook de plaats waar het kasteel gestaan zal hebben.
- Mocht er nog puin overblijven, nadat de vijver volgestort is, dan mag de koper dit ‘ten synen proffijte’ verkopen, hij mag het ook wegvoeren naar een plaats die de baljuw hem zal aanwijzen.
- Het nog bruikbare materiaal en het puin voortkomend van het kasteel, van de bijgebouwen, de ringmuur, enz., moet opgeruimd zijn vóór 15 maart van het volgende jaar 1785; zo niet dan zal dit gebeuren op kosten van de koper.
- De koper is verantwoordelijk voor de schade die de bomen die op de bijvang van het kasteel staan, zouden oplopen. (8)
Drie kandidaat kopers deden een bod, twee Brusselaars en Jan F. Cosyns (3). Uiteindelijk ging Othon Henri op 17 april 1784 in op het verhoogde bod van Jan F. Cosyns en werd het kasteel verkocht voor 3000 gulden courant geld, in twee gelijke delen te belalen: het eerste deel op 3 oktober 1784 en het tweede op 3 augustus 1785.