La torre és de planta quadrada i tres altures, encara que al segle xix es va derruir l'última. L'accés original es realitzava a través d'un arc de mig punt de carreu al primer pis, que era la forma habitual d'accés a les torres de defensa perquè permetia aïllar-la simplement retirant l'escala d'accés. En l'actualitat té l'accés a la primera planta a través d'una escala metàl·lica. Està construïda enterament en pedra i maçoneria. La primera i la segona planta s'obren a l'exterior mitjançant finestres sageteres i a la planta es troba una gran cambra amb tres finestres rectangulars. La terrassa és accessible, conservant com a element defensiu un ampit amb merlets.[2][3]
Basant-se en les restes trobades, es data la seva construcció al segle xiii durant l'època musulmana. Després de la Reconquesta la fortificació va quedar abandonada sense ús, però en el segle XIV es va construir un palau gòtic reutilitzant la torre musulmana i part de la muralla. Aquest palau pertanyia a la família Borja, titulars de la Baronia de la Torre. Calixt III és un dels membres d'aquesta família nascuts en aquest edifici. El 1506 va ser venuda, amb la Baronia, a l'ajuntament de Xàtiva. El consistori xativí va ser propietari de l'edifici durant els segles següents, en què es va produir la ruïna progressiva del palau. El 1758 va ser necessari restaurar-lo i el 1847, novament en ruïnes, va ser venut per l'ajuntament de Xàtiva a diversos particulars. Finalment l'ajuntament de Canals va adquirir la torre i la va restaurar en 1995, eliminant els edificis que s'havien anat adossant a la torre.[2][3][4]
