Edifice particulièrement bien conservé de la seconde moitié du XIIe siècle, le château de Nemours a en fait échappé à plusieurs projets de démolition.
Ayant constitué à l’origine la partie centrale du dispositif de défense de la ville médiévale, il fut transformé au XVe siècle par le duc d’Armagnac puis au XVIIe siècle par le duc d’Orléans.
Enfin, au début du XXe siècle, un groupe d’artistes locaux réunis autour du sculpteur Justin-Chrysostome Sanson (1833 – 1910) entreprit la restauration du vieux château, actuellement classé Monument Historique.
L’établissement est labellisé « musée de France » suite à la loi-musée du 4 janvier 2002. Les collections sont riches de 5000 œuvres environ : sculpture, peinture, art graphique et art décoratif essentiellement.
De nombreuses expositions temporaires rythment la programmation annuelle.