Le musée a été créé en 1840 à la suite de l'acquistio par la ville de quelques tableaux et d'une collection de minéralogie et de zoologie. Le musée est enrichi par la collection d'oeuvres de Goya réunies par le peintre Briguiboul et léguées à la ville par son fils en 1894. En 1949, une série de dépôts prestigieux du Louvre vient confirmer cette spécialisation. Les acquisitions et les dons parmi lesquels ceux de Jean Lasbordes, président de la société des amis du musée, ont accru les collections depuis la réorganisation du musée en 1945