I giardini, cos come il palazzo Reale del Buon Retiro, furono progettati e realizzati nel decennio dal 1630

al 1640, allorch il conte-duca di Olivares (Gaspar de Guzmn y Pimentel), don al re Filippo IV alcuni terreni affinch fosse creato uno spazio per gli ozi di corte, in prossimit del Monastero de los Jernimos. L'area originale del parco era di 145 ettari e la collocazione era nelle immediate vicinanze del nucleo urbano di Madrid. Sotto la direzione degli architetti Giovanni Battista Crescenzi e Alonso Carbonell furono costruiti diversi edifici, fra i quali il Teatro del Buen Retiro (dove furono rappresentate numerose rappresentazioni dei grandi autori spagnoli del Siglo de oro come Pedro Caldern de la Barca e Lope de Vega), il Casn del Buen Retiro (l'antico salone da ballo), il Museo del Esercito. I giardini furono realizzati allo stesso tempo degli edifici. Vi lavor, fra gli altri Cosme Lotti, scenografo del Granduca di Toscana; fu progettata una grande gabbia per l'esibizione degli animali feroci e una voliera per accogliere gli uccelli esotici. Il grande laghetto e lo Stagno delle Campanule furono costruiti in questa epoca. Alle prime realizzazioni sono state apportate molte modifiche, non sempre pianificate, che hanno cambiato la fisionomia del giardino, come il Parterre disegnato durante il regno di Filippo V, la Fabbrica reale di porcellana del Buen Retiro, costruita ai tempi di Carlo III e l'Osservatorio Astronomico, opera di Juan de Villanueva. Il re Carlo III permise ai cittadini di accedere al parco, purch fossero puliti e ben vestiti. Durante l'invasione francese, nel 1808, i giardini furono utilizzati come fortificazione dalle truppe napoleoniche, e subirono gravi danni. Il Palazzo Reale del Buon Ritiro, and distrutto. Dopo la Guerra d'indipendenza spagnola Ferdinando VII inizi la sua ricostruzione e apr una parte del parco al pubblico, come gi aveva fatto Carlo III. Il monarca si riserv una zona, compresa tra le vie O'Donnell e Menndez

Pelayo, dove fece costruire una serie di edifici, seguendo lo stile paesaggistico dell'epoca; tutt'oggi sono conservate la Casa del pescatore e il monte artificiale. Dopo la rivoluzione del 1868 i giardini divennero propriet municipale e furono definitivamente aperti al pubblico. In questo periodo furono aggiunte la Fontana delle Tartarughe, la Fontana del Carciofo e la Fontana dell'Angelo Caduto, opera di Ricardo Bellver e furono edificati il Palazzo di Cristallo e il Palazzo di Velzquez, opera di Ricardo Velzquez Bosco. Le ultime opere di sistemazione dei giardini furono portate a termine da Cecilio Rodrguez, che disegn La Rosaleda e le aiuole che portano il suo nome.