El Museo de Arte y de Historia de Provenza se presenta en una residencia particular del siglo XVIII, erigida por una de las antiguas familias de la nobleza provenzal del medievo, la familia Grasse y luego Grasse-Cabris, aliada a los Clapiers. El marqués Jean-Paul de Clapiers-Cabris se casó con Louise Riqueti (1769), hermana del conde Mirabeau (1749-1791), diputado del llamado Tercer Estado.

Esta mansión particular fue edificada en la base de las murallas por Jean Orello, arquitecto de origen milanés. De espíritu italiano por su techo en terraza y su fachada decorada, pero francés por su clasicismo del lado Sur, la distribución del edificio y su agenciamiento son provenzales.
Decorada y amueblada pero inacabada, la mansión estaba al abandono hacia 1776. Los eventos revolucionarios obligaron a la familia a huir a Italia y permitieron la instalación dentro de los muros de una biblioteca nacional revolucionaria, única recuperada de un proyecto más amplio tendente a integrar un museo y, en el jardín, un conservatorio de plantas. 
En 1813 la hija del marqués Clapiers-Cabris cedió el edificio, por venta forzada debido a las deudas de sus padres, a los hermanos Bruery: perfumistas, estos últimos la convierten en su lugar de residencia y en fábrica. Esta empresa se reveló funesta al transformar irremediablemente el lugar. 
Más tarde, los herederos Bruery sólo utilizan el lugar para el almacenamiento de su perfumería, situada en el lado Oeste del edificio.
Luego (finales del XIX y principios del XX) la mansión Clapiers-Cabris se convierte en un edificio de viviendas y, de nuevo, sufre múltiples modificaciones. 
Finalmente, en 1918 François Carnot puso su fortuna y sus competencias al servicio de este edificio, al que dará nueva vida, sin poder reemplazar sin embargo lo que había sido destruido y vendido en el siglo anterior, como la carpintería interior de los salones y de los cuartos, las chimeneas, una parte del mobiliario y los entarimados del suelo de los apartamentos.
Lanzó una suscripción pública y creó en 1921 el Museo Fragonard, llamado hoy Museo de Arte y de Historia de Provenza.

El M.A.H.P. y su edificio son propiedad de la Ciudad de Grasse desde 1952.