La Congregación de los Esclavos del Santo Nombre de María, constituida en 1612, fundó un Hospicio en 1668, ocupando un pequeño local en la calle Santa Isabel, pero debido a las malas condiciones de salubridad se trasladaron en 1674 a unas casas situadas en la calle Alta de Fuencarral, contando con el auspicio de la Casa Real. Bajo impulso del corregidor de aquel momento, Francisco Antonio Salcedo y Aguirre, Marqués de Vadillo, se decide derribar aquellas casas y construir un nuevo edificio diseñado por Pedro de Ribera en 1720. Las obras de construcción se desarrollan entre 1721 y 1725. De las construcciones anteriores se conservó la Capilla, trazada por José de Arroyo antes de 1695 en cuyo retablo se expone el lienzo de Luca Giordano (Lucas Jordán) con el tema de San Fernando ante la Virgen. La Capilla queda inserta dentro del edificio proyectado por Ribera que sería ampliado poco después por el mismo arquitecto entre 1725 y 1742, y Francisco Moradillo entre 1742 y 1760, llegando a ocupar 15.000 metros cuadrados.
Llegados al siglo XX la situación del edificio era tan ruinosa que se decidió derribarlo, pero gracias a la lucha de algunos organismos, como la Sociedad Central de Arquitectos, consiguieron su protección al ser declarado, en 1919, Monumento Histórico-Artístico la fachada, la primera crujía y la Capilla. Funcionó como Hospicio hasta 1922, quedando sin uso. Desafortunadamente en 1923 se procede al derribo del antiguo inmueble, lo que provocó la oposición de algunos medios de comunicación y los vecinos de la zona que demandaban espacios públicos. Finalmente el Ayuntamiento adquiere el inmueble en 1924, salvándose la fachada completa a la calle Fuencarral y la Capilla, siendo rehabilitado por Luis Bellido para destinarlo a Museo y Biblioteca. Se respetó la fachada con portada en piedra, permaneciendo el estilo puramente barroco de Ribera. En la fachada realizada en ladrillo, de dos plantas y de marcada horizontalidad, se abren grandes vanos adintelados guarnecidos de piedra, estando los superiores coronados por unos escudos de provincias. Los extremos de la fachada son terminados en dos torres cuadrangulares. Destada la portada de acceso en piedra con decoración exuberante compuesta por un fondo simulando un telón, estípites, óculos, motivos vegetales y un gran escudo real sobre el acceso que enlaza con la parte superior en la que se abre una hornacina donde se ubica el grupo escultórico de San Fernando recogiendo las llaves de Sevilla, obra de Juan Ron. El resto del edificio se adaptó a los nuevos usos. En 1929, se inaugura el Museo Municipal, siendo rebautizado como Museo de Historia de Madrid en 2007, tras largos años de reforma.
