Le château de Vaulx de Chizeul est à la limite du Charolais et du Brionnais.

Ce château dont les origines remontent au XIVème siècle a été la propriété de la famille de Choiseul jusqu'en 1435. Le nom "de Chizeul" est une déformation du nom de la famille.

A partir de 1471, les seigneurs de Vaulx ont été les Damas, importante famille bourguignonne, dont une branche était nommée Damas de Vaux.

Le château, les places fortes, hameaux et terres qui s'y rattachaient sont restés la propriété des Damas jusqu'en 1793, soit pendant plus de trois siècles.

Le château occupait une position dominante dans la région. Ses dimensions étaient imposantes (91 mètres par 29 mètres) et il se composait d'un donjon carré, d'une demeure seigneuriale, d'un grenier et d'une prison qui servait à faire purger les peines imposées par le seigneur qui avait droit de justice sur ses terres.

Le château a souffert pendant les guerres de religion au XVIème siècle et en 1793 où il a été vendu comme bien national, la famille ayant émigré à la révolution. Il ne subsiste plus aujourd'hui qu'une ruine qui était sans doute la prison.

A 200 mètres de l'ancien château de Vaulx de Chizeul se tient l'actuel château de Vaulx. Il s'agit de l'ancienne habitation des principaux officiers et fermiers généraux du domaine de Vaulx, c'est-à-dire les administrateurs et les hommes de confiance du seigneur. Le rôle des administrateurs était d'autant plus important que les Damas ne résidaient que peu de temps à Vaulx étant soit à Paris soit dans le château de Dyo dont ils étaient également les seigneurs.

Une partie du château actuel de Vaulx remonte au XVIème siècle comme en attestent les pierres datées de 1563 sur la façade. Le château a peu à peu été modifié et amplifié pour trouver son aspect actuel.

Au XIXème siècle, le château a été la propriété de la famille Geoffray et en particulier de Léon Geoffray (1852 -1927) qui a été ambassadeur de France en Espagne et l'un des artisans du rapprochement franco-britannique avant la première guerre mondiale.