Furono costruite nel IV secolo dalla famiglia Caetani. Il Papa Pio IV di fronte al pericolo delle incursioni dei Turchi e dei pirati saraceni  e alla necessità di ripristinare le strutture difensive della costa laziale affidò l’incarico di costruire quattro torri di vedetta nel Circeo, sul Lago di Paola, alla rupe del Fico, presso Cala Cervia e Cala Moresca, a Niccolò e Bonifacio Caetani. Nel 1563 erano state già edificate Torre Paola e Torre del Fico e nel 1574 furono completate Torre Moresca e Torre Cervia. Ma la constatazione della grave situazione difensiva portò ad estendere il provvedimento anche alle strutture medioevali che in passato avevano garantito la difesa del promontorio e del territorio circostante. Pio V affidò a Martino di Ayala, console dei marinai e dei mercanti di Roma, il progetto di costruire una rete di fortificazioni lungo il litorale dello Stato Pontificio, coinvolgendo nelle spese la signoria locale e la comunità. Furono così costruite altre due torri sul promontorio del Circeo: Torre Olevola e Torre Vittoria ed altre nel territorio di Terracina(Torre Gregoriana, Torre del Pesce e la Torre dell’Epitaffio).
La scelta dei Torrieri e dei soldati della guarnigione nei fortilizi venne affidata dal Papa ai Caetani e successivamente revocata temendo troppa ingerenza del potere nobiliare, provvedendo direttamente a tale nomina.
Torre Paola prese il nome dal Pontefice Paolo III di Farnese che ne autorizzò l’edificazione mentre Pio IV provvide alla sua costruzione affidando la direzione dei lavori all’architetto Bartolomeo Brecciali. La torre a  picco sul mare era composta di due piani più una terrazza, con lo scudo sulla piazza d’armi rivolto verso terra per proteggere i soldati da eventuali assalti provenienti dal monte. L’ingresso era posto al di sopra della cordonatura ed era accessibile attraverso una passerella poggiata sul ciglio del pendio roccioso. Torre Paola è l’unica ad aver conservato la sua struttura originaria.
Torre del Fico controllava il passaggio diretto dalla riva alla strada litoranea del Circeo, consentito per mezzo di scale a zig zag con gradini ricavati nella roccia. Il suo aspetto attuale è il risultato dei restauri voluti da Pio VII dopo i danni subiti dall’attacco inglese del 1809
Torre Moresca detta anche di Falconara, fu realizzata circa un decennio più tardi insieme a Torre Cervia ed entrambe ebbero la stessa sorte, essendo state distrutte dagli Inglesi, durante il blocco napoleonico; la prima non fu mai ricostruita ed oggi si conserva solo la base ed il faro che fu costruito nel 1866 per volontà di Papa Pio IX e che tra giardini e ville, corre per tre Km alto sul mare lungo il versante meridionale del promontorio.
La parte adiacente alla struttura è abitata dal custode civile del Faro, sebbene sia sotto l’amministrazione della Marina Militare Italiana.
Torre Cervia invece fu ricostruita nell’ultimo quarto del Novecento e si erge ancora oggi al centro dell’arco del promontorio. Il quinto caposaldo era Torre Vittoria, che costituiva la vedetta del Circeo verso sud. Il suo nome deriva forse dalla vittoria di Lepanto del 1571 anche se costruita molto più tardi(tra il 1624 e il 1631). A differenza delle precedenti quattro, Torre Vittoria presentava una base quadrata a scarpa ed un’altezza di quindici metri. L’ingresso ai suoi due piani sormontati dalla terrazza coronata da un parapetto a beccatelli era accessibile per mezzo di due rampe di scale.
Torre Olevola è l’ultima della serie e, come per Torre Paola si ipotizza una realizzazione su resti di fortilizi dell’epoca romana. La torre fu più volte rimaneggiata, come attestano le continue opere di manutenzione documentate nel corso del XVII secolo, fino alla totale ricostruzione in laterizio nel 1701. Il nome sembra derivare dal vicino fiume che, quando la zona non era stata ancora bonificata, scaricava a mare un’acqua oleosa e torbida. L’impianto della torre è rettangolare, con una base a scarpa su cui si innalzano due piani con copertura a volta e la terrazza per complessivi tredici metri di altezza. L’ingresso è posto a nord e sull’architrave della porta si legge il nome del tesoriere generale Lorenzo Corsini (futuro Papa Clemente XII) al quale era stato affidato l’incarico di costruirla.