Im 17. Jahrhundert beginnt König James I. an der Stelle der heutigen Palastgärten eine Maulbeerbaumplantage zur Seidenraupenzucht. Zu dieser Zeit existierte bereits ein großes Haus auf dem Gelände. Es wird 1698 an den Mann vermietet, der ihm seinen Namen gab, John Sheffield, den Herzog von Buckingham.
Es blieb bis 1762 im Besitz der Herzöge von Buckingham, als George III. das Gelände erwarb, um es als privaten Familiensitz für seine Frau, Königin Charlotte, zu nutzen, doch der St James's Palace blieb der offizielle Sitz des Hofes. Das Haus wurde in der Folgezeit viele Male umgebaut und modernisiert, bis es schließlich zum heutigen Buckingham Palace wurde.