Antiga fortalesa àrab. La seva història està estretament vinculada a la del papa Luna (Benet XIII) en els últims anys del seu pontificat.
Fou construït pels sarraïns a principis del segle XIII, fins que fou conquerit per Jaume I el 1233, el qual el lliurà als templers a canvi de Tortosa; més tard retornà a la corona, que el cedí a l’orde de Montesa.
Benet XIII va viure al castell des de l’any 1415 fins al 1423, època en la qual fou reformat amb l’afegit de la basílica i la residència i estudi papals. A la seva mort, la Santa Seu en prengué possessió, però Alfons IV el Magnànim aconseguí de recuperar-lo.
És de planta rectangular i d’estil gòtic, conté tot de sales notables amb voltes de canó apuntat.
Dades dels Països Catalans 