Sidi Bou Saïd war einst ein Dorf, in dem Marabouts lebten, und war ganz der Religion geweiht. 1207 zog ein Mystiker, Abou Saïd Khalafa ben Yahia dorthin, um den Sufismus zu entwickeln. Nach seinem Tod wurde er heiliggesprochen, ebenso der Hügel von Sidi Bou Saïd. Das friedliche Fischerdorf erhielt 1912 internationales Ansehen, als sich der englische Baron Rodolphe d'Erlanger dort niederließ und einen kostbaren Palast bauen ließ. Nach seinem Tod im Jahre 1932, hinterließen seine Erben Tunesien seinen Nachlass. Jetzt ist der Palast, der Ennejma Ezzahra genannt wurde, ein Zentrum der arabischen und Mittelmeermusik. Der Palast ist heute für die Öffentlichkeit zugänglich und neben dem Musikinstrumentemuseum kann man dort auch seine Architektur und seine Gärten bewundern.