Sidi Bou Saïd liegt auf einer Klippe 130 m über dem Meeresspiegel mit Blick auf Karthago und den Golf von Tunis und ist nach einem Heiligen benannt: Sidi Bou Saïd. Bereits die punischen Karthager und später die Römer waren an diesem Ort, der in der Antike Cap Carthagena (Vorgebirge von Karthago) genannt wurde, ansässig. Nach der arabischen Eroberung im 7. Jahrhundert und dem Fall Karthagos behielt dieses Vorgebirge seine strategische Position durch den Bau von Wachtürmen und einem Leuchtturm zur Verteidigung der nordöstlichen Küste Tunesiens bei. Dies erklärt den Namen des Hügels, auf dem Sidi Bou Saïd liegt: Djebel El Manar ("Berg des Leuchtturms"). Der Name des Dorfes ist schlicht und einfach Sidi Bou Saïd (1156-1231), der sich am Ende seines Lebens auf den Gipfel des Jebel El Manar, dem Hügel über Kap Karthago, zurückzog, um dort Wache zu halten und den Sufismus zu lehren.
Jahrhundert verführte der Charme des Dorfes die tunesische Bourgeoisie und die Familie des Bey, die hier luxuriöse arabisch-muslimische Wohnhäuser errichten ließen.
Am 28. August 1915 wurde per Dekret die blau-weiße Farbe vorgeschrieben, die jede anarchische Bebauung der Landzunge verbot, wodurch Sidi Bou Saïd zum ersten denkmalgeschützten Ort der Welt wurde.
Bis 1825 war Sidi Bou Saïd für Nicht-Muslime verboten. Von diesem Zeitpunkt an zog das blau-weiße Dorf zahlreiche Künstler, Musiker und Schriftsteller an, darunter Chateaubriand, Gustave Flaubert, Paul Klee, August Macke, Alphonse de Lamartine, Georges Duhamel, André Gide, Colette und Simone de Beauvoir. Michel Foucault verfasste dort L'Archéologie du savoir (Die Archäologie des Wissens).