Il Castello Baronale, oggi sede del Municipio, fu costruito, nel XIV secolo dalla famiglia Caetani , dopo una delle tante distruzioni che lo hanno interessato.
Le fonti storiche  riportano per il periodo altomedioevale la denominazione di Rocca Circea che, costruita dai terracinesi, probabilmente sui resti dell’antico santuario dedicato a Circe, venne distrutta dai Saraceni nell’846. Successivamente ricostruita non più sul Promontorio ma sui resti  dell’antico centro urbano di Circei fu sottoposta al dominio dello Stato Pontificio che l’affidò per un periodo ai terracinesi , poi a Marino di Formosa e poi ancora ai Frangipane. All’inizio del 1200 la Rocca, considerata da sempre rifugio sicuro dei Pontefici in caso di pericolo, venne occupata dai terracinesi che si erano ribellati intanto al dominio dei Frangipane. Nel 1239, in un periodo di aspre lotte fra il papa Gregorio IX e Federico II, il pontefice affidò la Rocca Circea ai Templari ordinando loro di riattivarla e fortificarla sotto la guida di Fra Raimondo di Lairano, Cavaliere Templare. I monaci rimasero sul territorio circa venti anni. Fu in questo periodo che la denominazione Rocca venne sostituita dalla denominazione Castrum Sancti Felicis forse per designare la presenza nella cinta muraria di persone civili oltre che militari. Negli anni successivi il castello venne acquistato da una potente famiglia romana, Annibaldi e da questa governato fino a quando un membro della stessa, Riccardo lo vendette a Pietro Caetani, nipote di Bonifacio VIII che lo trattenne per quattro secoli fatta eccezione di alcuni  periodi. Durante questi brevi intervalli fu ceduto al Re di Napoli Roberto D’Angiò, comprato dal Papa Alessandro VI per la figlia Lucrezia Borgia, distrutto nel 1501 da Federico di Napoli e riconsegnato subito dopo ai Caetani con facoltà di riedificarlo. Nel 1700 venne acquistato dalle famiglie Ruspoli ed Orsini per poi tornare alla Camera Apostolica. Nel 1808, la Reverenda Camera per sostenere le spese a favore dell’armata francese lo vendette al Principe Stanislao Poniatowski al prezzo di ottantaseimila scudi, ma nel 1822 il Principe lo riconsegnò alla Camera Apostolica restando nelle sue mani fino al 1870 quando divenne proprietà dello Stato italiano.