El actual IES San Isidro ocupa parte del antiguo edificio denominado Colegio Imperial, institución dedicada a la enseñanza fundada por la Compañía de Jesús. En unos terrenos en la calle de Toledo cedidos por doña Leonor Mascareñas, dama de la emperatriz Isabel y de doña María de Portugal, se había erigido entre 1560 y 1567 un convento jesuita bajo la advocación de San Pedro y San Pablo, junto a la cual se decide hacia 1590 establecer un colegio, para lo cual fue necesario comprar los solares aledaños. A pesar de la oposición del propio Concejo a su creación porque pensaba que entraría en competencia con los municipales Estudios de la Villa creados en 1346, el colegio fue instituido, y absorbió dichos Estudios años después. La construcción arranca en 1596 bajo trazas del arquitecto Francisco de Mora, que hasta 1601 levanta un primer edificio en escuadra, con las aulas en el cuerpo paralelo a la calle de los Estudios, prolongada en su extremo meridional por una crujía perpendicular con la capilla de la Concepción, terminada en 1614. Este inmueble inicial va a ser ampliado cuando la emperatriz María de Austria, hermana de Felipe II, acepte el patronato del colegio y a su muerte en 1603 deje a la institución jesuita parte de sus bienes y unos terrenos en la calle de Toledo anexos al primitivo edificio. Es entonces cuando se derriba parcialmente el antiguo complejo de iglesia y convento para erigir un templo de mayores dimensiones dedicado a San Francisco Javier, mientras que el colegio –destinado a la educación de príncipes y nobles- adquiere el título de "Imperial" en honor a su benefactora; aunque no pudo ser convertido en la Universidad de Madrid –como pretendía el Conde-Duque de Olivares- por la oposición de las de Salamanca y Alcalá de Henares, aunque sí consiguió la fundación en 1625 de los Reales Estudios con carácter superior, no pudiendo otorgar títulos oficiales. Sin embargo, el patio principal de este último todavía tendrá que esperar a reunir los solares necesarios para su construcción, siendo ejecutado entre 1679 y 1681 por Melchor de Bueras, que lo concibe como un claustro de dos alturas ejecutado en granito, de trazado barroco aunque con ciertos rasgos herrerianos en el piso bajo. Este patio, con un sencillo pozo en su centro, está compuesto por un cuerpo inferior ritmado por pilastras resaltadas y cajeadas entre las que se abren veinte arcos de medio punto –cinco por panda- con claves decoradas con medallones de águilas bicéfalas con el anagrama JHS, que se superponen a un entablamento profusamente decorado; mientras que en el piso superior se distribuyen otros tantos balcones adintelados con balaustradas de hierro, y con recercados de orejas rodeando un adorno escultórico central bajo pequeñas cornisas voladas; rematando el conjunto una cornisa volada con ricas ménsulas dobles donde se concentra la decoración. Las crujías de las pandas inferiores están cubiertas con bóvedas de arista y de la oriental arranca la denominada Gran Escalera de distribución a las distintas dependencias del Colegio (actualmente transformada en Museo donde se exponen unas interesantes colecciones sobre la historia del edificio y objetos pedagógicos). Frente a la escalera se sitúa el acceso a la Biblioteca, una de las más importantes de España en su tiempo. Al sur de este conjunto, separada por un patio irregular, se alza la antedicha capilla de la Real Congregación de Nuestra Señora de la Concepción, adscrita al Colegio Imperial desde su fundación. Se trata de un templo de una sola nave cubierto por una bóveda esquifada que fue reconstruida bajo la dirección de Francisco Camuñas tras su derrumbe en 1723, siendo pintada al año siguiente por Juan Delgado, discípulo de Antonio Palomino, con unos frescos de claro gusto barroco en los que se representan dieciséis santos asomados a los arcos de una arquitectura fingida con columnas salomónicas, con los cuatro evangelistas en las esquinas y una Gloria central de compleja iconografía con referencias al Apocalipsis y la Inmaculada Concepción junto con Dios Padre y Dios Hijo en forma de Cordero Místico.
Tras la expulsión en 1767 de la Orden Jesuita de España y sus territorios, la iglesia se independiza como Colegiata de San Isidro el Real, y se segrega del conjunto educativo una parte para viviendas, aunque otra mantiene su uso didáctico como “Reales Estudios”, con cátedras ocupadas por seglares desde 1770. Poco más tarde se retiran los numerosos cuadros que adornaban el edificio, entre los que destacaba la serie de veintidós lienzos de la vida de San Francisco Javier a cargo de Paolo de Matteis que decoraba el claustro bajo pintada, que pasó a la Real Academia de San Fernando junto con otros de menor interés antes de dispersarse. Simultáneamente se reúnen en la biblioteca los fondos bibliográficos de todas las fundaciones jesuíticas de Madrid, encargando en 1775 a Ventura Rodríguez el diseño de un nuevo local para la misma que por desgracia no se llevó a cabo, ejecutándose una remodelación menor que permitió abrirla al público ya en 1785. Dos años más tarde el conde de Floridablanca otorga el reconocimiento universitario a los Reales Estudios, que al año siguiente adquieren el apelativo "de San Isidro". Los jesuitas regresaron de 1816 a 1820 y de nuevo en 1822, hasta que en 1836 la Desamortización de Mendizábal expropia definitivamente sus bienes, incluido el Colegio Imperial. En 1845 ve la luz el Plan Pidal por el que se crea el Instituto de Segunda Enseñanza "San Isidro" que se ubicará en dicho complejo, que también acogerá parte de la Universidad Central de Madrid –germen de la actual Universidad Complutense-, la Biblioteca de la Facultad de Filosofía y Letras, la Escuela de Arquitectura (1848), la Escuela de Diplomática (1856) y la Escuela de Taquigrafía (1860). Al trasladarse la Universidad Central a las instalaciones de la calle de San Bernardo en 1876 -actual Consejo Escolar del Estado y Paraninfo de la UCM-, pasa a acoger una sección de la Escuela de Artes y Oficios (1878); permaneciendo aquí la Escuela Superior de Arquitectura, a la que Francisco Jareño y Alarcón dota de una entrada independiente, hasta que en 1935 se traslada efímeramente a su nueva sede de la Ciudad Universitaria, que quedó inmediatamente destruida durante la Guerra Civil (1936-1939), por lo que tuvo que volver a este edificio hasta su definitivo traslado en 1944. Durante la Guerra Civil el Colegio se convierte en refugio antiaéreo y funciona como pequeña escuela mixta para hijos de milicianos, sufriendo algunos daños. A partir de 1943, el colegio pasa a ser masculino y entre 1969 y 1971 se realizan unas obras de modernización de las aulas, que suprime el antiguo aulario, adquiriendo su apariencia actual. En 1983, el colegio vuelve a ser mixto y dos años después se realizan unas obras de rehabilitación y restauración dirigidas por Miguel Ángel López Miguel.
