L’elemento caratterizzante è rappresentato da una torre, che si sviluppava in quattro piani sovrapposti con una copertura, da dove era possibile avere una visuale per molte miglia intorno. Le abitazioni che sorgevano intorno al castello furono cinte di mura che si osservano ancora oggi a dimostrare l’antico perimetro della città. Tra le mura furono inglobate varie torri di cui ne resta integra, o quasi, una sola, incorporata nell’edificio del municipio.
Si racconta che nel 1534 ospitò la contessa di Fondi Giulia Gonzaga fuggita dal suo palazzo per sottrarsi al tentativo di rapimento del corsaro Kair-ed-din, detto il Barbarossa, che voleva farne dono al sultano ottomano Solimano il Magnifico. Diventato proprietà privata, è adibito a civile abitazione dopo essere stato parzialmente restaurato. Fu edificato nell’alto medioevo sulla parte più alta del paese, da dove il “signorotto” poteva dominare tutto il paese e, nello stesso tempo, sentirsi protetto da eventuali attacchi nemici. Comprendeva, come ogni castello feudale, numerosi locali che si articolavano in diversi piani, adibiti alle diverse funzioni della vita di corte.