Les restes de la fortificació del final del segle IX, nomenades paraments pre-califals, es conserven millor en l'anomenat sector nord, ésque acompren dir, la cara nord, entreamb lescinc torres, núms. 1 i 5, i els trams que s'estenen des de les torres de cantonada (núms. 1 i 5) fins a les torres 9 i 6 (est) i 6 (oest). Només es conserven en bon estat les torres cantoneres, (núms. 1 i 5) idoncs algunles [[carreu]]altres enhan laestat núm.molt 3saquejades. La fonamentació és atalussada, excavada en la roca. Totalment massisses i fetes de carreus de gres. Les dues torres cantoneres són de planta quadrada d'uns 5,50 X 5,50 m. Les torres 2 i 4 són [[Torre#Torre albarrana|albarranes]], de planta rectangular d'uns 5 X 3,60 m. A la torre central (núm. 3) i possiblement en època feudal, es va practicar una obertura amb arc rebaixat i una amplada de 2,20 m. La base de lad'aquesta torre té 8,40 m d'amplada i 4,50 en la part més alta conegudaconservada. La torre núm 1, la més ben conservada, presentamanté 11una filadesalçada delde 7,30 m i, pel que fa al parament pre-califal, se'n conserven 19 filades. La cara nord era la més feble; per aquest motiu hi calgué edificar cinc torres i un [[fossat]] retallat a la roca.
A l'interior del castell hi havia la [[mesquita]] major de la ciutat, que posteriorment fou convertida en l'església de Santa Maria de la Suda o del Pla d'Almatà.<ref name="patmapa"/>
