In 1843 trad Eugénie de Limon (1824-1899), de oudste dochter van Thérèse de Limon, in het huwelijk met Graaf Charles de Kerchove de Denterghem (1819-1882). Thérèse overleed op 14 mei 1872, waarna Charles en Eugénie in het bezit kwamen van uitgestrekte landerijen en van het, inmiddels wat vervallen, buitenverblijf in Beervelde.
Graaf Charles en zijn echtgenote lieten in 1876 het bestaande buitenverblijf slopen, een deel van de walgrachten dempen en ten westen een kasteel oprichten naar een ontwerp van Théophile Bureau (1827-1884), een befaamd man. Hij was directeur van de industriële hogeschool te Gent, verwierf Europese bekendheid als industrieel ingenieur en was gereputeerd omwille van zijn ontwerpen van grote verwarmings- en verluchtingsinstallaties en door de bouw van serres. Zijn architecturaal oeuvre was sterk gediversifieerd en getuigde niet enkel van zijn hoge technische kennis maar tevens van zijn kunstenaarstalent als architect.