Le Château a été édifié au XVe siècle par Alain d'Albret le Grand, l'arrière-arrière grand-père d'Henri IV. Résidence principale du futur roi de France et de son épouse la Reine Margot de 1577 à 1582, il témoigne de l'apogée de la famille d'Albret et de la cour de Nérac à la Renaissance.
Le Château a été démantelé en grande partie à la Révolution ; et il ne subsiste aujourd'hui que la remarquable aile nord et sa tour intérieure.

Au premier étage du Château, l'exposition "Henri de Navarre sur les marches du trône" présente la famille d'Albret et Henri de Navarre, futur Henri IV, à travers des collections du XIXe sicèle. Tableaux, sculptures, maquettes et reproductions historiques font revivre l'esprit de cette cour du XVIe siècle où se mêlent idées humanistes, plaisirs de la table, commedia dell'Arte et intrigues.
Au rez-de-chaussée, la section archéologie présente les vestiges découverts dans l'Albret du Néolithique à l'époque gallo-romaine.