C’est dans cet hôtel qu’est installé le musée. Cette belle demeure fut celle du marquis de Blanes, puis de la famille de Lazerme, au XIXe siècle.
Ces murs abritèrent plusieurs hôtes illustres dès la fin de la guerre : Michel Leiris, Chagall, Cocteau et surtout Picasso y firent de longs séjours.