La primitiva Parroquia de San Andrés parece que se construyó poco después de 1085, probablemente en un estilo mudéjar, de la que Isidro Labrador fue feligrés. La Parroquia, que aparece en el Fuero de 1202, contaba con un cementerio ubicado en torno a la parte exterior del ábside donde descansaron los restos de Isidro Labrador desde 1130 hasta que en el siglo XIII, su cuerpo incorrupto fue descubierto. En los últimos años del siglo XV, se reconstruye el templo, debido a su mal estado de conservación. Hacia 1520, se inician las obras de la actual Capilla del Obispo con el fin de albergar el cuerpo de San Isidro, que sería canonizado en 1622, y donde estubo desde 1535 a 1551. Las diferenes disputas entre la parroquia de San Andrés y la familia Vargas se resolvieron con la devolución del cuerpo del santo a la parroquia. A mediados del siglo XVII, a consecuencia del deterioro del edificio, se inician las obras de construcción de la Capilla de San Isidro que debía englobar el antiguo cementerio y tumba de San Isidro. Las obras se inician según diseño de Pedro de la Torre, siendo reformado por su sustituto José de Villarreal a partir de 1657. En estas reformas se alarga la primitiva parroquia y se le da una orientación hacia el oeste, hacia la Costanilla de San Andrés, donde se colocó un retablo de Alonso Cano con esculturas de Pereira. La capilla albergaría un baldaquino, obra de Juan de Lobera, que alojaría la urna de San Isidro. En interior de la capilla fue suntuosamente decorada ya que se quiso que fuera la octava maravilla del mundo, convirtiéndose en la primera obra netamente barroca en Madrid. En su decoración participaron diferentes artistas: pilares y columnas doradas de Juan de Villegas; tarjetones de bronce de Erasmo den Norbec, labores de yeso y escayola de Carlos Blondel y Francisco de la Viña; pinturas de Francisco Rici, Juan Carreño, Francisco Caro y Alonso del Arco; esculturas de Juan Ron y Raimundo Capuz. Pero en 1769, el arca con el cuerpo de San Isidro fue trasladaba a la antigua Iglesia del Colegio Imperial, en la calle Toledo, hoy colegiata de San Isidro.
Desgraciadamente la riqueza interior de esta iglesia se perdieron durante la Guerra Civil; tan sólo quedaron en pie algunas zonas de la Iglesia y la Capilla del Obispo. Tras la contienda, el templo fue reconstruido de la manera más fiel posible, tras un riguroso proceso de investigación. Iniciada en 1986, su reconstrucción, a cargo de Javier Vallés, finalizó en 1991.