Il Museo d’arte e storia della Provenza è ospitato in un palazzo del XVIII secolo costruito da una delle più antiche famiglie della nobiltà provenzale medievale, la famiglia de Grasse, poi Grasse-Cabris alleata ai Clapiers. Il marchese Jean-Paul de Clapiers-Cabris sposò Louise Riqueti (1769), sorella del conte di Mirabeau (1749-1791), deputato del Terzo Stato.

Il palazzo è opera, ai piedi dei bastioni, di Jean Orello, architetto di origine milanese. Italiano nello spirito, come si nota dal tetto a terrazza e dalla facciata colorata, ma francese nel classicismo sul lato meridionale, l’edificio è caratterizzato da una distribuzione e una disposizione provenzali.
Riccamente decorata e arredata ma incompiuta, l’opera cade nell’abbandono attorno al 1776. Gli eventi rivoluzionari costringono la famiglia a fuggire in Italia e permettono di creare nella dimora una biblioteca nazionale rivoluzionaria, unica superstite di un progetto più ampio che doveva accogliere un museo e un conservatorio di piante nel giardino. 
Nel 1813, la figlia del marchese di Clapiers-Cabris cede, in una vendita forzata dovuta a debiti contratti dai genitori, l’edificio ai fratelli Bruery: profumieri, questi ultimi la eleggono a residenza e fabbrica. L’impresa si rivela funesta dal momento che trasforma in maniera irrimediabile i luoghi. 
In seguito, gli eredi Bruery si serviranno di questi spazi unicamente per immagazzinare la profumeria collocata a ovest dell’edificio.
Tra la fine del XIX e l’inizio del XX secolo, il palazzo Clapiers-Cabris diventa un edificio di abitazioni, vittima ancora una volta di innumerevoli rimaneggiamenti e rifacimenti. 
Infine, nel 1918, François Carnot mette la sua fortuna e le sue competenze al servizio dell’edificio al quale ridà vita senza tuttavia riuscire a sostituire ciò che era stato distrutto e venduto nel corso del secolo precedente, come le boiserie dei saloni e delle camere, i camini, una parte degli arredi e i parquet degli appartamenti.
Lancia quindi una sottoscrizione pubblica e crea, nel 1921, il Museo Fragonard, oggi denominato Museo d’arte e storia della Provenza.

Il Museo d’arte e storia della Provenza e il suo edificio sono di proprietà della città di Grasse dal 1952.