Destruido casi por completo durante los asedios de la Guerra de la Independencia, fue un punto estratégico para la defensa del arrabal durante el sitio francés de 1810. Fue cuartel inglés en 1812.
Tras las ruinas del Convento de San Francisco, se encuentra el Gran Teso o Teso de San Francisco.
El convento fue fundado en el siglo XIII y llegó a ser uno de los más importantes de su provincia eclesiástica. Las ruinas, recientemente consolidadas, corresponden al crucero de la epístola y a la capilla, fundada por Don Antonio del Águila, obispo de Zamora y deán de la Catedral de Santa María de Ciudad Rodrigo. Miembro de una de las familias más poderosas de la ciudad, cuyas armas lucen en su fachada.
La levantó hacia 1556 Pedro de Ibarra, separada de la capilla mayor por las rejas labradas por Francisco Martínez y engalanada con las vidrieras de Guillén de Santagut. Para este espacio fue esculpido, el año ya citado, el famoso Calvario de Juan de Juni, que en 1998 fue vendido por los remotos herederos del prelado al Ministerio de Educación y Cultura, que lo adscribió al Museo Nacional de Escultura de Valladolid.