È un luogo simbolo, l'ultimo ostacolo tra il vecchio regime, quello borbonico, e la nascita della nuova Italia.
Si erge in tutta la sua maestosità nel cuore del centro storico della cittadina gaetana e, per la sua posizione strategica, è stato meta ambita da molti, dai normanni ai goti, dal papato a Federico II di Svevia che, nel 1227, apportò interventi modificativi all’originario impianto architettonico.
La struttura che oggi ammiriamo, grande circa mq 14.100,  è composta da due edifici comunicanti, realizzati in due momenti storici diversi, uno più in basso detto "Angioino", realizzato durante la dominazione francese degli angioini, a pianta quadrata con quattro torri circolari angolari, e uno più in alto detto "Aragonese", fatto costruire da Alfonso il Magnifico, fortificato su tre lati da imponenti torrioni cilindrici.
Entrambi sono situati in una suggestiva ed unica posizione panoramica a ridosso dello strapiombo sul mare.
Durante il secondo conflitto mondiale, l'ala aragonese è stata la base operativa del Battaglione Allievi Carabinieri, oggi sede della caserma Mazzini, ospita la Scuola Nautica della Guardia di Finanza.
Fino al 1980, invece, l'ala angioina è stata sede del Carcere Militare.
Qui furono detenuti personaggi illustri della storia: Giuseppe Mazzini, padre del Risorgimento italiano, arrestato il 13 agosto 1870 fu condotto nelle stanze del terzo piano del castello aragonese, dove ancora oggi è visibile, sulla parete d’ingresso, la lapide a lui dedicata; l'ala angioina invece, fu anche la prigione dorata di Herbert Kappler, ufficiale tedesco delle SS, responsabile dell’eccidio delle fosse ardeatine a Roma. Il “Prigioniero di guerra in stato di detenzione” decise di sposare in carcere una tedesca divorziata, conosciuta attraverso uno scambio di corrispondenza epistolare durato due anni.