La primera ermita de San Antonio –heredera de una anterior dedicada a la Virgen de gracia- fue construida en 1720 al final de la cuesta de San Vicente por el arquitecto José Benito de Churriguera, que diseñó una capilla hexagonal de ladrillo y rematada por chapitel y linterna, en la que se adoraba en un altar colateral una imagen de San Antonio de Padua tallada por Juan de Villanueva y Barbales. Por orden de Carlos III en 1768 es demolida para regularizar la zona, y se encarga a Francesco Sabatini la construcción de una nueva ermita más alejada del casco urbano. Carlos IV adquiere el inmediato palacio de la Huerta Florida (o de Castel Rodrigo) para construir una finca de recreo, y la ermita de Sabatini es derribada, encargándose al arquitecto italiano Felipe Fontana el diseño de una nueva ermita que pasará a denominarse de San Antonio de la Florida, y debía servir como capilla de la Real Posesión, a pesar de que el palacio previsto no llegó a ejecutarse tras la compra del de la Moncloa. Las obras se inician en 1792, concluyéndose en 1798. La ermita de Fontana es un edificio neoclásico de planta de cruz griega, cubierto con bóvedas de cañón y cúpula con linterna sobre pechinas en el crucero. La fachada está adornada con pilastras resaltadas y un gran frontón triangular. Destaca su interior por la decoración de las bóvedas con frescos pintados por Francisco de Goya en 1798, en los que representa uno de los milagros del santo al que asisten majos, chisperos y chulapos, en una original composición. En su interior también encontramos altares rematados con esculturas de ángeles, obra de José Ginés y unos lienzos dedicados a la Inmaculada con San Carlos Borromeo y San Fernando, y San Luis con San Isidro encargados a Jacinto Gómez Pastor. En el altar mayor destaca un Cristo crucificado en marfil y carey del siglo XVIII y en el centro de la iglesia, la magnífica lámpara de bronce dorado obra de Domingo Urquiza.
La ermita es convertida en parroquia en 1881, poniendo en peligro su decoración, lo que sirve de acicate para que sea declarada Monumento Nacional en 1905 y para que en 1928 –en el centenario de la muerte de Goya- se construya una iglesia idéntica a cargo de Juan Moya Idígoras con el fin de trasladar allí el culto y preservar la original, que queda como museo a cargo de la Real Academia de Bellas Artes de San Fernando. Además el edificio sirve como panteón conmemorativo de Francisco de Goya, ya que 1919 se trasladan aquí definitivamente los restos del artista, fallecido en Burdeos pero devueltos en 1899 a España e inhumados al siguiente año en la Sacramental de San Isidro. Durante la Guerra Civil (1936-1939) apenas sufrió daños a pesar de hallarse muy expuesta en el frente, pero en el siglo XX se han realizado varias obras de restauración de los frescos, dañados a consecuencia de las humedades. En 1987 Patrimonio Nacional llega a un acuerdo con la Real Academia de Bellas Artes de San Fernando y el Ayuntamiento de Madrid para conceder a éste la gestión y conservación de la ermita e instalar en ella un centro de documentación sobre Goya. Se crea entonces un Patronato con las tres instituciones cuya primera finalidad fue la de rehabilitar la ermita para los nuevos usos en tres campañas sucesivas entre 1987 y 2005.
