Un accenno alla Torre risulta dall’inventario fatto in morte di Onorato II Castani, che testualmente cita: La corte…have una torre con rivellino interno, sita in lo monte de Sancto Martino, iuxto lo circuito de epsa ecclesia, strictula mediante.
Si deve arrivare al ‘700 per vederla segnalata in un testo, precisamente il Dizionario Geografico ragionato del Regno di Napoli di L. Giustiniani, dove viene annotata una torre nel casale di Ventosa “vicino all’ospizio dei Padri Cassinesi sotto il titolo di San Martino”. Dopo il 1861 passò al demanio dello stato, ma allo stesso tempo negli anni che seguirono i parroci inglobarono la torre al recinto e per molti anni fino ai primi decenni del ‘900 rimase il dubbio sul possesso di tale monumento (nel 1920 Don Minervino Perrino richiede in una lettera lumi al vescovo di Gaeta a riguardo, non ricevendo peraltro risposta).
Il 23 gennaio del 1930 un fulmine colpì il lato Nord della torre creando notevoli danni, tanto che venne deciso l’abbattimento delle parti pericolanti e successivo restauro. Venne infine il secondo conflitto bellico, l’11 novembre del ’43, la torre e il campanile della chiesa si trovarono purtroppo sulla linea di fuoco che vedeva i tedeschi rispondere alle cannonate alleate dal Garigliano, gli effetti si possono facilmente dedurre. Per riportare la torre al suo antico splendore ci fu bisogno di due tipi di interventi, il primo tra il 1952 e il 1953, teso a garantire la staticità, il secondo del 1955 mirato al definitivo restauro. Purtroppo i lavori in gran fretta non ponevano il monumento del tutto al riparo dall’intemperie, i temporali e l’acqua che filtrava da un pluviale ne corrosero le pareti interne.
Nel 1990 la chiusura del pluviale in questione ha risolto il problema, inoltre è stato installato un parafulmine e attorno alla base è stata creata una fascia di protezione.