Ancien couvent de l'ordre des Minimes, le bâtiment central en forme de U a été acheté par Elisabeth-Pauline de Gand, comtesse de Lauraguais, héritière de la forteresse des Princes d'Orange située sur la colline dominant le château actuel. De cet ancien couvent, elle fit sa résidence : le climat d'Arlay était moins rude que celui de Nozeroy dans le haut Jura où se trouvait son château. Certains éléments de décor extérieurs furent transportés de Nozeroy à Arlay. Madame de Lauraguais fit construire deux pavillons, à usage d'écuries, situés de part et d'autre du bâtiment principal. Elle aménagea le parc ainsi que la fontaine du fer à cheval, et fit construire la glacière. Tous ces travaux furent réalisés vers 1770 et devaient durer près de 10 ans.

Le mobilier du château fut dispersé à la Révolution. En 1825 la propriété fut reprise par le Prince Pierre d'Arenberg, petit-fils de la comtesse de Lauraguais. Il fit appel à un ébéniste de talent de Poligny (Jura), et lui commanda l'ensemble du mobilier en bois clair (noyer, frène, érable moucheté). L'authenticité de ce mobilier, en particulier le " lit à la girafe ", en souvenir d'une girafe qui fut donnée au roi Charles X par Méhémet Ali sultan d'Egypte, sont un témoignage de l'actualité du début du XIXème siècle.