In posizione dominante sull'abitato si erge il castello dei Frangipane, costruito in più fasi successive a partire dalla fine del X secolo e ingrandito fino al XV secolo. Gravemente danneggiato dai bombardamenti della seconda guerra mondiale conserva solo il maschio centrale, parte più antica, e parte dell'ala sud. Il Castello, anche detto Rocca Traversa, domina l'abitato presso la vicina Porta Nuova. A dare il nome alla Fortificazione furono i Frangipane nel 1143 quando la occuparono per imporre il proprio dominio sulla città su cui sino ad allora godevano solo di una concessione feudale da parte del Papa.  Il dominio di questa famiglia  fu breve: nel 1204 Terracina tornò sotto la diretta obbedienza Pontificia fino al secolo successivo, quando lo spostamento del Papato ad Avignone determinò una nuova fase di insicurezza politica.