Das "Château de Lastours" ragt hoch auf einem Bergkamm über dem Gresilhon-Tal auf der einen Seite und dem Orbiel-Tal auf der anderen Seite, wobei es sich eigentlich nicht um eine, sondern um vier Burgen handelt: Cabaret, Tour Régine, Surdespine (oder Fleur d'Espine) und Quertinheux.
Die Anlage wurde, mit Ausnahme des Turms "Tour Régine" (späteren Ursprungs) zwischen dem 11. und dem 13. Jahrhundert errichtet und bildete die damalige Festung Cabaret (nach der die Region Cabaret benannt ist).
Das Chateau de Lastours wurde 1209 von Simon de Montfort belagert, es hielt jedoch zwei Jahre lang dem Angriff stand, bevor es erstmals kapitulierte. Zur Zeit der häretischen Sekte der Katharer gehörte das Chateau de Lastours Pierre-Roger de Cabaret, der die Anliegen der Katharer sehr unterstützte und zahlreichen Anhängern Unterschlupf bot. Letztere schickte er 1229 ins Pays de Sault, um sie vor den Kreuzfahrern zu retten. Nach der Kapitulation wurde die Burg in eine königliche Festung umgewandelt.
Von dieser Festung ist heute nur mehr der Régine-Turm übrig, der aus dieser Zeit stammt, und von den übrigen Burgen gibt es noch die Barbakane, einen Teil des Wehrgangs und den polygonalen Bergfried von Cabaret, das Areal von Surdespine und den Rundturm mit dem polygonalen Burgareal von Quertinheux.