Le fonds du musée a été constitué par le duc de Villars en 1771 pour illustrer l'enseignement de l'Académie de Peinture. Les collections, composées principalement d'antiques, étaient présentées dans la salle de délibération du conseil municipal. L'acquisition partielle de la collection de MM. Fauris de Saint Vincent et des donations amenèrent la municipalité à tranférer l'ensemble des collections au prieuré de Malte, inauguré comme musée en 1838. Le musée s'est enrichi depuis de nombreuses collections et notamment celles de Granet, Bourguignon de Fabregoules, Gueidan, d'Aubergue, Rostan et Dol.
Avec l'ouverture de la 2e partie des collections permanentes, l'année 2007 a marqué l'achèvement du processus de rénovation du musée