Ubicada junto a la Iglesia de San Andrés, en torno a 1520, se inicia a construir una capilla, por iniciativa de Francisco de Vargas, con el fin de albergar el cuerpo incorrupto de Isidro Labrador, que había sido descubierto en el siglo XIII. Sería su hijo, Gutierre de Carvajal y Vargas, Obispo de Plasencia, quien la terminara de construir en 1535. La Capilla albergará el arca de San Isidro, que sería canonizado en 1622, desde 1535 a 1551, año en el que sería devuelto a la parroquia de San Andrés tras diferenes disputas entre ésta y la familia Vargas. Es entonces cuando el obispo transformará la capilla en panteón familiar, tomando el nombre de Capilla del Obispo, por el que será popularmente conocida, aunque su advocación verdadera es la de Nuestra Señora y San Juan de Letrán.
Magnífico edificio de transición del gótico al renacimiento, de una sola nave y ábisde cubiertos por bóvedas góticas de crucería. La puerta tallada de acceso es una obra atribuida a Francisco de Villalpando, aunque también se apunta a Cristóbal de Robles como su autor. En su interior, el ábside es ocupado por su espléndido retablo mayor de estilo plateresco, obra Francisco de Giralte, discípulo de Berruguete, quien lo concluyó en hacia 1550, con la colaboración de Juan Villoldo el mozo, quien ejecutaría la policromía. También son obra en alabastro del maestro Giralte, tanto el cenotafio del obispo fundador de figura orante, como los sepulcros de sus padres, Francisco de Vargas e Inés de Carvajal, que flanquean el altar. Además, se pueden contremplar restos arqueológicos de la primitiva Parroquia de San Andrés.
