Una vez concluida la construcción de la Capilla del Cristo de los Dolores (1662 y 1668), la Venerable Orden Tercera inicia las obras de construcción de un hospital para atender a los hermanos pobres enfermos. El Hospital es diseñado por Marcos López en 1679, y construido por Luis Román y sus hijos, y Bartolomé Hurtado entre ese año y 1686. El edificio es de planta cuadrangular distribuido en torno a un patio central interior y en dos alturas, con jardín posterior. La planta baja se abre al patio en una galería de pies derechos de granito mientras que la alta presenta pies derechos de madera; actualmente se encuentran acristaladas. Conecta ambos pisos, una gran escalera de doble rampa enfrentada "con bóvedas decoradas por Teodoro Ardemáns y Tomás García, realizadas en 1683" donde se representan los símbolos de la VOT de San Francisco. El edificio se completó con la construcción de una capilla proyecto de Felipe Sánchez de 1690, construida por este arquitecto y José del Arroyo entre 1693 y 1699. La capilla es de planta de cruz latina, de una sola nave, dividida en tres tramos, cubierta por una bóveda de medio punto con lunetos sobre entablamento volado corrido. Cada uno de los tramos se decora con un retablo de hornacina. La sacristía tiene un bajorrelieve en yeso de San Pedro de Alcántara de la sacristía, obra de Francisco Gutiérrez que es el boceto del definitivo en mármol realizado para la capilla de Arenas de San Pedro por encargo de Ventura Rodríguez.Transepto poco destacado en planta, con crucero cubierto por bóveda sobre pechinas y tambor rematada por un lucernario. Cabecera cuadrada decorada con estuco imitando mármol, presidida por una Inmaculada. El Hospital también cuenta con una Farmacia de gran amplitud en la que se conserva el moviliario con sus botes de farmacia. La fachada de líneas sencillas donde se abren los vanos organizados simétrimante, se rompe con el movimiento otorgado a la gran portada de acceso a la iglesia que se adelanta a la línea de fachada describiendo un espacio cóncavo a través de los contrafuertes que comprende ambas alturas y el remate en un frontón curvo. Distribuidos por la capilla, la escalera y las galerías que rodean el patio central, se conserva una interesante colección de obras de artísticas.
Al inicio de la Guerra Civil (1936-1939) los bienes de la VOT fueron confiscados, el hospital se convierte en Hospital Municipal de Cirugía y parte del mismo se traslada al Hotel Ritz, hasta que es trasladado totalmente a Arganda a finales de 1936 y, el año siguiente, a Loeches. A partir de 1950 se inicia la transformación del hospital con nuevas consultas externas, habitaciones individuales y aparcamiento subterráneo.
