Edificio construido para albergar las Compañías Reales de Guardias de Corps, un cuerpo militar de élite creado en 1704 como guardia personal de los reyes. En 1717, Felipe V ordena al corregidor de Madrid, Francisco Antonio de Salcedo y Aguirre, marqués de Vadillo, la construcción del Cuartel de Conde-Duque, de cuyas trazas se encargará el Maestro Mayor de Obras, Pedro de Ribera. Se trata de un edificio que sigue esquemas de ingeniería militar francesa: de planta rectangular organizado en tres patios-plazas rectangulares, el central de mayores dimensiones, entorno a los cuales se distribuyen los pabellones alargados, con fachadas de ladrillo en la que se abren vanos adintelados repartidos orgánica y simétricamente. La portada principal se sitúa en la fachada este, frente a la cual se abre una plaza para darle perspectiva. La portada en piedra se resuelve en un estilo barroco propio al que nos tiene acostumbrados Ribera, otorgándole la representatividad que requería el edificio, que fue concluido en 1730.
El edificio sufre dos grandes incendios, en 1859 y 1869, que lo destruyeron en gran parte, salvándose casi en exclusiva la gran portada monumental. Tuvo que ser reconstruido, aunque se perdió la volumetría original. Tras la Guerra Civil, el edificio sufre el abandono y un deterioro tal que se planteó la demolición, de la que se salvará al ser adquirido por el Ayuntamiento de Madrid en 1969. Instadado por el Colegio Oficial de Arquitectos de Madrid, en 1975, el Ayuntamiento contemplaba restaurar el edificio para destinarlo a uso cultural. Un año después es declarado monumento histórico-artístico. En 1981, el proyecto de restauración será llevado a cabo por Julio Cano Lasso intentando recuperar la antigua traza y volumetría perdidas, para convertirlo en un gran Centro Cultural donde albergar varias instituciones municipales: Archivo de Villa, Hemeroteca Municipal, Biblioteca Central, Biblioteca Musical, Museo de Arte Contemporáneo, todas situadas al norte, y espacios para exposiciones y auditorio, localizadas al sur. Estas primeras obras de restauración que abarcan el 60% del edificio serán concluidas en 1983, aunque en 2005 se redacta un Plan Director para consolidar y mejorar las instituciones culturales y llevar a cabo una rehabilitación total del edificio entre 2006 y 2011. Actualmente ofrece una amplia programación cultural: cine, danza, exposiciones, etc.
