Originalmente conhecido como Casa Buckingham, o prédio que hoje forma o núcleo do palácio era uma grande casa de cidade construída em 1703 para John Sheffield, 1.º Duque de Buckingham e Normanby, em um local que era propriedade privada por pelo menos 150 anos. Foi subsequentemente comprado em 1761 pelo rei Jorge III como residência particular para a rainha Carlota de Mecklemburgo-Strelitz e ficou conhecido como "A Casa da Rainha".

​

Infelizmente, para os mais entusiasmados a parte interna do palácio é fechado para visitação, você deverá esperar um convite para o baile da rainha para poder adentrá-lo. Porém, o belo jardim de inverno é aberto para todos aqueles que querem se sentir mais perto da realeza ao realizar um passeio.