Le fonds des collections du musée correspond à la donation du capitaine de Villiers en 1834 de collections de numismatique et d'histoire naturelle, complétées par des achats et dons de collections de beaux-arts, d'archéologie, d'histoire et d'ethnologie. En 1967 une partie des collections est à l'origine de la création d'un musée indépendant. La collection d'art moderne et contemporain est réunet depuis les années 1980.