Portal principal de les fortificacions de la ciutat. Manat bastir a Guillem Gitard a partir del 1368 per l’infant Joan, governador general de Catalunya.
És de maons vermellosos i consta de dues torres emmerletades. Per la proximitat de la capella de Nostra Dona del Pont, fou anomenat el Castellet de Nostra Dona.
Lluís XI de França, durant l’ocupació dels comtats de Rosselló i de Cerdanya, el féu arranjar i hi afegí (1477-83) el Petit Castellet, que rebé el nom de Portal Nou de Nostra Dona; hi foren empresonats alguns patriotes catalans i després de l’annexió del Rosselló a França sota Lluís XIV, els conjurats de Vilafranca del 1674, abans d’ésser torturats i executats.
Durant la Revolució Francesa serví novament de presó, i hom ha suposat que el cos d’un nen trobat aparedat en un calabós és el de Lluís XVII.
Des del 1914 fou arxiu municipal, i des del 1963 acull el Museu d’Arts i Tradicions Populars del Rosselló i de la Cerdanya.
