Construite vers 1300, la forteresse est entourée de douves d'eau vive. Jacques Coeur acheta Ainay-le-Vieil en 1435, puis Charles de Chevenon de Bigny (ancêtre directe des propriétaires actuels) en fait l'acquisition le 14 Décembre 1467, et y construit le corps de logis de la fin du gothique avec des influences italiennes.

Dans le grand salon, une cheminée monumentale, l'une des plus belles cheminées du val de Loire, évoque la visite du Roi Louis XII et de la Reine Anne de Bretagne. Pour la chapelle et ses peintures murales exceptionnelles, Charles de Bigny fit appel aux ateliers oeuvrant sur la cathédrale de Bourges.

Des souvenirs du Grand Colbert, ministre de Louis XIV, ainsi que de trois frères Colbert tous généraux de Napoléon, sont également présentés.