Die Geschichte des Viertels Le Panier beginnt vor fast 2600 Jahren, als die Stadt Marseille unter dem Namen Massalia gegründet wurde. Die Griechen wählten diesen Ort aufgrund seiner erhöhten geographischen Lage und seiner Nähe zum Meer, um ihr Gepäck abzustellen. Die Agora, von der aus die Bürger die Aktivitäten des Hafens überwachen konnten, befand sich auf dem heutigen Place de Lenche, während auf dem Butte des Moulins die der Athena gewidmete Akropolis stand.
Das Viertel entwickelte sich weiter, als Marseille sich ausdehnte. Im 12. Jahrhundert baute die Bruderschaft des Heiligen Geistes ein Krankenhaus, das später zum Hôtel Dieu wurde und heute in ein Luxushotel, das 5* InterContinental Marseille, umgewandelt wurde. Im 18. Jahrhundert wurde ein großes Hospiz gebaut: die Vieille Charité.