Aquest castell es situava al capdamunt del poble i tenia sis torres[[torre]]s quadrades que defensaven un gran [[pati d'armes]] envoltat per les estances del castell. Queden molt poques restes del castell de l'Espluga. Per la banda del riu, damunt la Font Baixa, hi ha les restes de dues torres (una esbotzada i l'altre esmotxada) i dos [[Llenç (arquitectura)|llenç]]os de [[muralla]]. Una d'aquestes torres, la millor conservada, encara conserva els grans carreus[[carreu]]s cantoners de pedra picada. Al carrer dels Ametllers hi ha una [[porta]] adovellada mig tapada per un tros de [[mur]], destinat a reforçar la construcció, i a l'interior d'algunes cases del carrer Castell es troben fragments de panys de mur.<ref name="patmapa"/>