En 1629, le cardinal Richelieu fait élever un vaste et splendide édifice, le Palais-Cardinal auquel est accolé un jardin. Plus tard, en 1780, le palais s'agrandit avec la construction sur trois côtés du jardin de maisons à façades régulières qui reposent sur les arcades d'une longue galerie bordées de boutiques. De nos jours, le jardin se compose d'un ensemble de rangs de tilleuls taillés en marquise, de deux longues pelouses et d'une fontaine.

Les colonnes de Buren, du nom de son inventeur, sont situées dans la cour, près du jardin et du Ministère de la Culture. Cette oeuvre alimenta la polémique à tel point que les travaux furent interrompus. Finalement François Léotard, ministre de la Culture et de la Communication en 1986 relança le projet qui aboutit en 1995. Faites un voeu en lançant votre pièce de monnaie sur la colonne. Si vous l'atteignez, votre voeu s'exaucera.