Van 1805 tot 1825 woonde er een stevenistisch priester, Josephus Alexander Antonius Van Vaerenberch (Meerbeke 1758-Pamel 1825). Hij was eerst binnengetreden bij de geschoeide karmelieten te Edingen. Toen de Fransen hier in 1794 meester werden hieven zij alle kloosterorden op en verplichtten de priesters de eed van haat aan het koningdom af te leggen. Priester Van Vaerenberch weigerde en dook onder, maar werd in 1805 wegens stevenistische propaganda aangehouden. Hij kreeg een verplichte verblijfplaats toegewezen, op de Kapelleweide. In zijn testament bepaalde priester Van Vaerenberch dat hij niet kerkelijk wou begraven worden en toenmalig pastoor Van Roy (wel een beëdigd priester) noteerde hem dan ook niet in het parochiaal overlijdensregister. Het huis schonk priester Van Vaerenberch (1) aan zijn huishoudster Maria Amelberga Joly (2), die het verder verkocht aan Jacobus De Rijck. Op zijn beurt verkocht deze het aan de vader van de grootmoeder van Jef. Het was toen een klein huisje met de voorgevel naar de kapel gericht. In 1901 werd het verbouwd zoals het er nu nog staat, wel kwam er in 1910 nog een verdieping op. Het jaar daarop moest het dak al hersteld worden omdat er een beuk op was gevallen! (3) (4)


--------------------------------------------------------------------
(1) Ook schonk hij o.a. nog 407 g. 46 cent aan de armen van Pamel en Meerbeke.
(2) De huishoudster verhuisde na het overlijden van Van Vaerenberch naar Leerbeek. Waarschijnlijk werd het huis aan de Kapelleweide, tussen 1829 en 1845 bewoond door Maria Theresia D'Hoye, weduwe van de burgemeester van Pamel Jan Van Overstraeten, en hertrouwd met landmeter Jan Willem Loomans.
(3) Er werd verteld dat men daarna getracht heeft de beuken die dicht bij de kosterij stonden met zware kettingen vast te klinken aan bomen verderop.
(4) In 1992 werd het kostershuis verkocht.