Le château d'AZAY-le-FERRON apparaît aux yeux des visiteurs comme un exemple typique des beaux châteaux de la Loire. Il est pourtant situé aux portes de la Brenne. AZAY-le-FERRON dépendant de la Baronnie de Preuilly sur Claise, était par conséquent situé dans la province de Touraine.

Le château est constitué de quatre parties construites à différentes époques : la tour Frotier (fin XVème), l'aile d'Humières (mi-XVIIème), le pavillon François 1er (XVIème), et le pavillon Breteuil (XVIIIème). Les communs, dits l'aile Cingé, sont quant à eux du XVIIème siècle et sont reliés au château par une galerie inspirée de celle du château de Valençay et construite en 1926.

Plusieurs grandes familles ont été propriétaires d'AZAY-le-FERRON, notamment Grégoire Michel, banquier pour les armées de Napoléon. Le château a par la suite été vendu en viager, au XIXème siècle, à la famille Luzarche, famille de Maitre de Forges. En 1950, Madame Hersent, fille de Madame Luzarche, a légué le château et le domaine attenant à la ville de Tours.

Monsieur Luzarche entretenait un bel équipage de vénerie dont la devise était "Jusques au bout". Un loup empaillé dénommé "cacao" est exposé dans le grand escalier. Son histoire mérite d'être racontée : un jour, alors qu'il chassait le loup à courre, l'équipage d'Azay attrapa une louve qui venait de mettre au monde des louveteaux. L'un d'entre eux fut catpuré et apprivoisé, puis il participa à la chasse avec la meute de chiens. A l'âge de douze ans, devenu aveugle, il se noya dans l'un des bassins du parc du château, et en souvenir fut empaillé.