La iglesia de San José formaba parte del antiguo convento de carmelitas descalzos de San Hermenegildo, fundado en 1586 por intermediación de fray Nicolás de Jesús y María. La primitiva iglesia, terminada en 1605, fue derribada una vez concluidas las obras de la actual, cuyo proyecto fue encargado a Pedro de Ribera en 1730, siendo concluida por José de Arredondo y Fausto Manso en 1742. La fachada original se componía de un cuerpo central enmarcado por pilastras almohadilladas bajo un frontón triangular adornado con jarrones, entre dos grandes aletones que resolvían la diferencia de altura con las capillas laterales. El acceso se realizaba a través de una estrecha lonja elevada sobre la calle de Alcalá, a la que se abría la entrada, con tres vanos de acceso en arco de medio punto, ejecutados en sillería y cerrados por rejas del siglo XVII firmadas por Juan Gil. El vano central -más alto y ancho que los laterales- está flanqueado por dos ventanas enrejadas coronadas por óculos, y presenta a su vez un medallón oval con el escudo del Carmelo sobre el que se curva el entablamento, bajo una hornacina ocupada por la Virgen del Carmen, esculpida por Roberto Michel en 1750. Al interior, el templo presenta planta de cruz latina con coro alto a los pies, la nave central cerrada por bóveda de cañón con lunetos sobre cornisa con ménsulas pareadas, las capillas laterales- conectadas entre sí formando como naves laterales- cubiertas alternativamente con bóvedas de arista y de platillo sobre pechinas, el crucero con cúpula con linterna sobre pechinas y pequeño tambor ciego –que al exterior se manifiesta como un volumen cúbico rematado por un chapitel-, y la cabecera plana. Sobre los arcos de las capillas –separados por esbeltas pilastras cajeadas de orden toscano con hojas de acanto en el capitel- se abren sencillas tribunas con balaustradas de forja, y en las bóvedas y pechinas pueden admirarse frescos de Luis González Velázquez. La cabecera fue reformada a principios del siglo XIX, y está cubierta por una bóveda de cañón casetonada que enmarca un monumental retablo neoclásico fechado en 1832, con una imagen de la Virgen del Carmen, obra de Roberto Michel, en la hornacina central y un grupo escultórico coetáneo de La apoteosis de San Hermenegildo sobre el entablamento. De las paredes cuelgan sendos lienzos de La adoración de los Reyes Magos y la Disputa del Niño en el Templo pintados por Giacomo Pavía en 1748, y en los altares del transepto se veneran una imagen de San José de Luis Salvador Carmona –procedente de su antigua parroquia- y el Cristo del Desamparo labrado en 1631 por Alonso de Mena para el convento de Agustinos Recoletos. En el testero del lado del Evangelio se abre la capilla de Santa Teresa -tercera de esta advocación en el templo tras la original y la reconstruida de 1646-, diseñada al tiempo que la iglesia siguiendo modelos del hermano Francisco Bautista: planta central de cruz griega con tres brazos terminados en ábsides curvos y crucero cubierto por cúpula sobre pechinas, con riquísima decoración de estuco y punturas murales de Antonio y Luis González Velázquez. Su altar mayor está presidido por una hornacina con una escultura de Santa Teresa atribuida a Carmona, acompañada por las imágenes de San Elías y San Eliseo, fundadores del Carmelo, que también protagonizan sendas pinturas de Juan Bautista Peña y Pablo Pernicharo, respectivamente. Cuatro pinturas de Pedro Rodríguez de Miranda sobre la vida de la santa y un San Eloy de Juan Pascual de Mena procedente de la desaparecida iglesia del Salvador completan la decoración. Otras obras que se pueden apreciar en diferentes capillas son una imagen de Cristo Crucificado de la escuela madrileña del siglo XVIII, un Cristo Yacente atribuido a Sánchez Barba, y la original imagen de Nuestra Señora del Rosario realizada por Ricardo Bellver ya en el siglo XIX.
En 1815 se redujo la lonja de entrada, sustituyendo las escaleras de los extremos por otras alineadas con las puertas de acceso; y en 1836 el convento fue exclaustrado como consecuencia de la Desamortización de Mendizábal, destinándose a los usos más diversos (Casa de la Moneda, Intendencia General Militar, etc.) hasta su derribo en 1870 para dejar lugar al Teatro Apolo y después el Banco de Vizcaya (actual Área de Gobierno de Hacienda y Administración Pública del Ayuntamiento de Madrid), aunque se conservó la antigua entrada ricamente enmarcada inmediata al templo y la panda occidental del claustro, convertida en capilla del Sagrario de la iglesia, que fue reclamada en 1836 por el cura de San José para alojar la parroquia homónima -entonces sin sede propia- aunque el traspaso no se efectuó hasta 1839. En 1910, con motivo de la apertura de la Gran Vía, se derribó la colindante “casa del cura”, ocupando su solar un nuevo edificio en altura diseñado en estilo neobarroco por el arquitecto diocesano Joaquín María Fernández Menéndez con la colaboración de Juan Moya Idígoras, que se encargó de reformar la fachada del templo para igualarla en altura con la nueva construcción, sustituyendo los aletones laterales por entrepaños perforados por balcones y ventanas. También intervino en el cuerpo central, realzando el frontón de remate, colocando escudos a los lados del vano central y abriendo dos pequeñas hornacinas a los lados de la central para alojar sendas estatuas de San Hermenegildo y San José; simultáneamente se eliminó la lonja de acceso, incorporando las escaleras dentro de los vanos, que vieron sus proporciones alteradas. Además en este momento se instaló el bar y chocolatería Nueva Elipa en un local situado en los sótanos bajo la panda occidental del antiguo claustro. Durante la Guerra Civil (1936-1939) fue convertida en almacén y sufrió el impacto de algunos proyectiles que provocaron escasos daños, sobreviviendo imágenes y retablos. En 1944 el arquitecto Carlos Arniches reformó el café antedicho –ahora llamado La Elipa-, dejando vistas las bóvedas bajo las capillas del lado de la Epístola; tras el Concilio Vaticano II Miguel Fisac remodeló el presbiterio para adaptarlo a las nuevas necesidades litúrgicas; y en los años noventa del pasado siglo Juan López Jaén rehabilitó la fachada, revistiéndola con el actual revoco rojizo fingiendo ladrillo llagueado, y eliminando los escudos y las hornacinas añadidas por Idígoras, cuyas estatuas se trasladaron al nártex. En 2017-19 la cúpula del crucero y su chapitel fueron restaurados según proyecto del arquitecto Ignacio de la Vega Jiménez. Por último hay que señalar que el valioso San Juan Bautista de Roberto Michel que ocupaba un altar de la capilla de Santa Teresa ha sido trasladado recientemente a la catedral, siendo sustituido por un San Juan de la Cruz de difícil atribución.
