Château Gaillard, situé au coeur de l'intra muros, rue Noé, accueille les collections d'histoire et d'archélogie du musée. Une très grande partie de ses collections lui a été confiée par la Société Polymathique du Morbihan dont les membres érudits, depuis le 19e siècle, ont patiemment collectés la plupart des objets exposés aujourd'hui au château.
La Société polymathique du Morbihan est fondée en 1826 par quinze érudits locaux, dont l'abbé Joseph Mahé, auteur du premier inventaire des monuments morbihannais, pour recueillir, conserver et publier les produits des fouilles des sites préhistoriques du Morbihan. En 1828, la société met en place des cours publics et une bibliothèque qui recueille les fonds des anciennes bibliothèques du clergé et celles de la noblesse émigrée. La Société polymathique fusionne en 1859 avec la Société d'archéologie créée en 1846, pour créer l'actuel musée