Le château est protégé dans sa totalité par la loi des Monuments Historiques datant de 1913 (soit par inscription, soit par classement). La forteresse a constamment évolué depuis son origine jusqu’au 18è siècle.
La Chapelle Sainte-Marie-Madeleine a été créé au 12ème siècle et a évolué jusqu’au 18ème siècle. Le logis principal a été agrandi et remanié au 18ème siècle par le noble parlementaire Leprestre de Lezonnet, propriétaire du château en 1701.
Il existait 6 tours au 15ème siècle. Aujourd’hui il en subsiste 4 : le donjon, la tour Cardinal, la tour du Guet et enfin la tour de l’Horloge.