En 1823, Jean-Jacques Quesnel, époux de Marie-Charlotte Christy de la Morinière, acquiert l’hôtel et son parc. Il lègue l’ensemble à la ville de Coutances en 1852, à charge pour la commune d’aménager un jardin agréable et utile à la santé du peuple. Le "Musée de tableaux, statues et objets d’art" est créé par délibération du conseil municipal en date du 24 août 1868, à l’initiative de Basile Quesnel, directeur de l’école de dessin, peintre et lithographe coutançais, mais n’ouvre au public qu’en 1874
Les premiers dons sont accordés par la Société Archéologique de Coutances. Les collections se constituent et s’enrichissent progressivement au hasard des dons, legs, achats et dépôts de l’Etat. En 1886, Léon Quesnel, fils de Basile, établit le premier catalogue. Lors des bombardements de 1944, certaines collections sont endommagées, voire décimées (armes, numismatique). Depuis les années 1970, achats, dons et legs se sont succédés permettant de compléter les collections existantes ou de créer de nouvelles sections