A cette époque, le château est la propriété de la famille MATHIEU, riches éleveurs qui introduisent la race charolaise dans la Nièvre. Esther Mathieu, jeune fille de la famille, rencontre à Paris et se prend d'amitié pour la jeune peintre Marie Rosalie BONHEUR, qu'elle invite au "chateau de La Cave". Rosa BONHEUR y séjourne de 1848 à 1852. Peintre et sculpteur, cette femme hors du commun a fait une carrière internationale.  C'est là, en 1849, qu'elle réalise son œuvre « LABOURAGE NIVERNAIS ». (il s'agit d'une commande d'état, pour un montant de 3.000 francs. Ce tableau, qui sera très populaire, est actuellement exposé au musée d'ORSAY à Paris).