El Colegio de Cirugía de San Carlos fue una institución, en un principio independiente de la universidad, creada en Madrid en 1780 por Carlos III a instancias de Antonio Gimbernat y Arbós, disponiendo que se instalara provisionalmente en el Hospital General. Al año siguiente se encargó al arquitecto Francisco Sabatini la construcción de un edificio para albergar dicha institución cercano al Hospital General, Hospital Amor de dios y Hospital de mujeres de La Pasión. Pero el proyecto se retrasó hasta que en 1831 Fernando VII cedió el solar del antiguo Hospital de la Pasión para levantar el nuevo edificio, encargando el diseño a su arquitecto mayor, Isidro González Velázquez, aunque las trazas finales se deben a la propuesta Tiburcio Pérez Cuervo y la disposición final de la fachada principal a la calle Atocha a Juan Pedro Ayegui. Para la planta del edificio el arquitecto se inspira en la Escuela de Cirugía de Paris, obra de J. Gondoin, ejecutada entre 1769 y 1775, con patio central interior presidido por el gran anfiteatro anatómico en eje con la entrada principal.
El 10 de octubre de 1843 pasó a llamarse Facultad de Ciencias Médicas, agrupando Medicina, Cirugía y Farmacia, pero ésta ultima se separó el 17 de septiembre de 1845, cambiando la denominación a Facultad de Medicina de San Carlos, dependiente de la Universidad Central, ampliándose con otros edificios contiguos. En 1846, dentro de la facultad se fundó la nueva institución Hospital Clínico de San Carlos, que se ubicó en un ala del viejo Hospiral General.
En 1907 se acomente una reforma a cargo del arquitecto Luis María Cabello Lapiedra, orientada a elever la cubierta para aprovechar el espacio bajo la misma; a la que siguieron otras reformas posteriores. El Colegio de Cirugía estuvo en funcionamiento hasta que en 1950 la Facultad de Medicina fue trasladada a la Ciudad Universitaria. Desde entonces el edificio quedó abandonado, hasta que en los años 70 el Ministerio de Cultura y Ciencia cedió parte del edificio (la situada en la calle Santa Isabel) al Colegio de Médicos para albergar su sede. El resto del edificio quedó en ruinas hasta que en 1986 se cedió al Instituto Nacional de Administración Pública (INAP) siendo rehabilitado entre 1987 y 1991 por Carlos Lavesa Díaz y Eugenia Llanos de la Plaza. Posteriormente, el edificio ocupado por el Colegio de Médicos será también rehabilitado entre 1993 y 1995 bajo dirección de José Luis Íñiguez de Onzoño Angulo.
