La ermita de la Virgen del Puerto se levanta junto al río Manzanares, donde las lavanderas realizaban su trabajo diario, y cercana al Puente de Segovia, en las inmediaciones del Palacio Real. La construcción de la ermita fue empeño personal de Antonio de Salcedo y Aguirre, marqués de Vadillo, por entonces corregidor de Madrid en tiempos del reinado de Felipe V, quien encarga la obra al joven Pedro de Ribera. La ermita, que sería dedicada a la Virgen del Puerto, patrona de Plasencia, donde el marqués había sido corregidor entre 1689 y 1696, fue construida entre 1716 y 1718. Ribera proyecta un edificio de planta octogonal centralizada cubierta con cúpula y linterna, alrededor del cual se desarrollan una serie de dependencias. El edificio presenta diferencias en el tratamiento de espacios interiores y exteriores. En el exterior, los volúmenes son lisos, paramentos en ladrillo sobre zócalo de piedra y cubiertas con chapiteles de pizarra, donde destaca la fachada principal, mirando hacia la Villa de Madrid, flanqueada por dos torres, donde los accesos y ventanas están guarnecidos por piedra. Al interior se accede a través de un pequeño zaguan separado de la nave por una verja. El espacio de la iglesia es centralizado cubierto con cúpula encamonada y linterna rodeado por cuatro capillas en forma de exedra, cuya verticalidad se acentúa a través de sus pilares y unos balcones. Destaca el retablo que contiene el camarín de la Virgen del Puerto, obra también de Ribera, de estilo barroco. En el interior, a los pies del altar, se conserva la sepultura con los restos del marqués de Vadillo desde 1729. En época de Carlos III, con motivo de las obras de acondicionamiento del paseo alto o Paseo Nuevo, actual paseo de la Virgen del Puerto, en 1780, Juan Durán realiza una escalinata de doble brazo para salvar el desnivel de la zona, dejando la ermita un tanto escondida, además de añadir una serie de habitaciones que la envolvieron desfigurando su volumetría original.
Durante la Guerra Civil, estas habitaciones anexas quedan completamente destruidas mientras que las torres y muros perimetrales quedan seriamente dañados. También desaparecen los retablos interiores. Entre 1948 y 1951 se procede a una restauración a cargo de Rafael Mendoza Gimeno y Jenaro Cristos de la Fuente que mantienen las trazas originales proyectadas por Ribera, eliminando las construcciones anexas y proyectando unos volúmenes simetricos a norte y sur, de trazas iguales al del camarín de la Virgen. Posteriormente se han llevado a cabo distintas intervenciones de restauración y conservación que actualmente continúan. Recientemente se ha podido recuperar el retablo que albergaba la imagen de la Virgen del Puerto con las trazas originales de Pedro de Ribera, gracias a los diseños conservados. Cada 8 de septiembre se celebra la Natividad de la Virgen, que entorno a la ermita se festejaba con una romería y la fiesta de la melonera que actualmente se está recuperando.
