Eerst stond hier een kasteelhoeve waarin zeker Godfried van Pamel woonde. Jan van Pamel en Ledeberg werd er geboren. Daarna werd de kasteelhoeve pastorie en woonde er eertijds pastoor Van der Borght. Verwoest en terug opgebouwd woonden in deze, ook al oude, pastorie ooit onderpastoors Berghs, Cuerens, de Champaigne, De Nayer, Godefroid, Lamal, Pameleirre, Sannen, Semael, Vanden Bogaert, Van Mol, (onder)pastoors Eloy, Matthé, Van Eyndhoven, Van Roy; pastoors Cambier, De Craene, De Poorter, Goethals, Hu(eb)ens, Jonckers, Mehauden, Mencke, Uyttenhove, Vanden Poele, Van Elshout, Van Mollem;, zelfs enige tijd de Liefdezusters van de Verrezen Zaligmaker.