Castell i antic monestir, del sud-oest de la ciutat, a la dreta del Segre, damunt el turó testimoni anomenat puig de Gardeny (198 m alt), que domina la partida de l’horta dita la Corda de Gardeny. A la fi de l’actual carrer Major hi havia, a les muralles, el portal de Gardeny davant l’assoc o mercat sarraí.
El castell fou el centre de la comanda de Gardeny, dels templers, la més important de la regió, que comprenia nombroses possessions cedides a l’orde per Ramon Berenguer IV de Barcelona el 1149, com a compensació de l’ajuda rebuda a la conquesta de la ciutat, que perdurà fins el 1314; a l’extinció de l’orde Jaume II de Catalunya la cedí als hospitalers, que hi establiren un priorat, el qual perdurà fins el 1772. en època moderna fou convertit en un conjunt de casernes, i recentment ha estat restaurat.
Resten l’església de Santa Maria i un gran casal rectangular i massís, de pedra, ornat per una petita filera de mènsules sota una cornisa a l’extrem superior. L’església, del tipus templer cistercenc, és també molt austera; es destaca el portal de mig punt, àmpliament adovellat i emmarcat per una corniseta; té un gran absis llis i volta apuntada; l’únic ornament són dos grans capitells de tipus corinti i l’obertura de l’arc triomfal.
