Le château du Chillou est un monument inscrit dans son ensemble au titre des monuments historiques depuis le 14 novembre 1951, dans les rubriques logis, châteaux et manoirs de la fin du Moyen Age.
Il tire son nom d’un mot gaulois dont la racine étymologique signifie gros caillou ou pierre levée. Il semble qu’un menhir ou pierre levée ait été présent dans un champ voisin.
La plus grande partie du monument semble daté du XVème siècle et construite sur les fondations d’un château plus ancien, exception faite de la grosse tour à l’angle sud-est dont l’appareillage en moellons et la composition laissent à penser à une datation aux alentours du XIIIème siècle.