1652 wurde Louis de Vendôme, ein Cousin von König Ludwig XIV., in die Provence geschickt, um die Region zu befrieden und die königliche Autorität dort zu stärken. Der sanfte und fromme Mann war bei den Aixois sehr beliebt und wurde 1654 zum Gouverneur der Provence ernannt. Zehn Jahre später wurden ihm 20.000 Livres angeboten, damit er sich im Herzen vonAix-en-Provence ein Privathaus bauen ließ.
Der Legende nach war der Grund für den Bau des Pavillon de Vendôme die Liebe des Herzogs zu Lucrèce de Forbin-Solliès, auch "Belle du Canet" genannt, die ihn bei Einbruch der Nacht zwischen diesen Mauern traf. Er starb dort 1669 im Alter von nur 57 Jahren, und es heißt, dass seine "Übungen" mit der Schönen ihn schließlich töteten...