Los Jardines tienen su origen entre los años 1630 y 1640, cuando el Conde-Duque de Olivares (Don Gaspar de Guzmán y Pimentel), valido de Felipe IV (1621–1665), le regaló al rey unos terrenos que le habían sido cedidos por el Duque de Fernán Núñez para el recreo de la Corte en torno al Monasterio de los Jerónimos de Madrid. Así, con la reforma del Cuarto Real que había junto al Monasterio, se inició la construcción del Palacio del Buen Retiro. Contaba entonces con unas 145 hectáreas. Aunque esta segunda residencia real iba a estar en lo que en aquellos tiempos eran las afueras de la villa de Madrid, no estaba excesivamente lejos del alcázar y resultó ser un lugar muy agradable por estar en una zona muy boscosa y fresca.

Bajo la dirección de los arquitectos Giovanni Battista Crescenzi y Alonso Carbonell se construyeron diversos edificios, entre ellos el teatro del Buen Retiro que acogió representaciones teatrales de los grandes del Siglo de Oro, Calderón de la Barca y Lope de Vega. Perduran aún el Casón del Buen Retiro, antiguo Salón de Baile, el Museo del Ejército, antaño Salón de Reinos con sus paredes decoradas con pinturas de Velázquez, Zurbarán y frescos de Lucas Jordán y los jardines.

Éstos se levantaron al mismo tiempo que el palacio, trabajando en ellos, entre otros, Cosme Lotti, escenógrafo del Gran Duque de Toscana, y edificándose una leonera para la exhibición de animales salvajes y una pajarera para aves exóticas. El estanque grande, escenario de naumaquias y espectáculos acuáticos, el estanque ochavado o de las campanillas y la ría chica pertenecen a este período inicial.

A lo largo de la historia, en este conjunto se han ido efectuando modificaciones, no siempre planificadas, que cambiaron la fisonomía del jardín, como el Parterre diseñado durante el reinado de Felipe V (1700–1746), la Real Fábrica de Porcelana del Buen Retiro en tiempos de Carlos III (1759–1788) o el Observatorio Astronómico, obra de Juan de Villanueva, reinando Carlos IV (1788–1808). El rey Carlos III fue el primero en permitir el acceso de los ciudadanos al recinto, siempre que cumpliesen con la condición de ir bien aseados y vestidos.

Durante la invasión francesa, en 1808, los jardines quedaron parcialmente destruidos al ser utilizados como fortificación por las tropas de Napoleón. El palacio fue totalmente destruido.

Tras la Guerra de la Independencia, Fernando VII (1814–1833) inició su reconstrucción y abrió una parte del jardín al pueblo, como ya hiciera Carlos III. El monarca se reservó una zona, entre las calles de O'Donnell y Menéndez Pelayo, donde construyó una serie de edificios de recreo siguiendo la moda paisajística de la época, conservándose aún a (principios del siglo XXI) la casa del pescador, la casa del contrabandista y la montaña artificial.

Reinando Isabel II (1833–1868) se abrió la calle de Granada, calle que más tarde se llamaría de Alfonso XII, vendiéndose al estado los terrenos comprendidos entre ésta y el Paseo del Prado que fueron urbanizados por particulares.

Tras la revolución de 1868, la Gloriosa, los jardines pasan a se propiedad municipal y sus puertas se abrieron a todos los ciudadanos, comenzando una época en la cual, la ría grande y el estanque de San Antonio de los Portugueses se transformaron en Paseo de Coches. Se colocaron las fuentes de los Galápagos y de la Alcachofa, realizándose la fuente del Ángel Caído, obra de Ricardo Bellver. En el Campo Grande se edificaron el Palacio de Cristal del Retiro y el Palacio de Velázquez, obra de Ricardo Velázquez Bosco. En esta época, concretamente a finales del siglo XIX, transcurre la novela que Pío Baroja tituló Los Jardines del Buen Retiro, en la que se narra la vida de la capital en torno a este enclave.