C'est au XIVème siècle, à l'emplacement d'une ancienne forteresse féodale entourée de fossés, que naît le premier Château La Borde, se muant au fil du temps en demeure fortifiée. Du château lui-même, il reste la partie nord que l'on appelait 'Le Pavillon' Au XVIème siècle, le château actuel viendra remplacer une demeure fortifiée. Cette demeure seigneuriale comportait quatre tours rondes dont un pigeonnier, coiffées de tuiles et reliées entre elles sur trois côtés, formant une cour dont l'entrée à l'est regardait le village de Leugny. Le corps de logis, appuyé en avant des tours, à l'ouest, avait une vue étendue sur la vallée de L'Ouanne. 3 tours demeurent actuellement dans ce château du XIVe siècle en Bourgogne.