Edificato su un monte di pietra viva, nella sua struttura originaria, presentava, solo e unicamente, costruzioni di tipo militare che facevano dell’abitato una rocca. Una “piazza d’armi”, destinata a truppe di guarnigione, sfruttata abbondantemente durante il medioevo, ma anche in epoca antecedente. Sino all'XI secolo non si hanno tracce di residenze signorili, né stabili, né temporanee. Le prime abitazioni risalgono a tale periodo e furono posizionate sul lato posteriore del colle, dove l’occhio degli incursori provenienti dal mare e degli invasori transitanti sulle vie consolari, più prossime alla costa, non poteva arrivare. Le tecniche costruttive utilizzate, adattandosi alla natura geologica del terreno, trovarono nel pietrame calcareo, la materia prima. L’impiego di conci irregolari, nella costruzione delle mura, dei torrioni e delle case dell’aristocrazia, non dipese, pertanto, da una scelta di materiale, come per molti castelli, ma dalla circostanza di poterlo reperire nella stessa località, con facilità e abbondanza. Solo il mastio e le porte principali sono stati costruiti con pietra tagliata. Il tessuto di tale castello è stato conservato inalterato per secoli, mostrando con orgoglio le caratteristiche castrensi e feudali, costituite da: Cinta Muraria, Torrioni, Porte d’Accesso,Torre Rettangolare e Abitazioni delle famiglie aristocratiche.

La Cinta Muraria, che avvolgeva con spirito difensivo il nucleo abitato era composto da dieci Torrioni cilindrici dei quali alcuni distrutti dai bombardamenti della seconda guerra mondiale ed altri così bene conservati da mostrare, ancora oggi, la loro antica funzione. La cinta di mura turrite era unica e solo nel lato sud presentava una specie di antemurale. Si presume che qui, dove in seguito sorsero le case della nobiltà, ci fossero solo delle “aree ortilizie”. Le Mura consentivano l’accesso al castello solo in due punti muniti di porte: Porta Chianca e Porta Santa. A queste, durante l’assalto della Pasqua del 1799, se ne aggiunse una terza, che all’arrivo dei francesi, facilitò la fuga verso i monti. A questa porta,  di piccole dimensioni ed esistente ancora oggi, fu dato il nome di “Gliò Cauto”, termine che in dialetto significa il buco.

La Porta Chianca fu costruita in pietra tagliata e se ne conservano, in condizioni ottimali, l’arco e gli stipiti. Secondo la tradizione storico-culturale, il nome si riporta al conflitto di sangue, avvenuto nel 1799, quando   l’armata franco-polacca in marcia verso Napoli, nei giorni 24-25 Marzo, cinse d’assedio il borgo. La terra murata fu saccheggiata e data alle fiamme dopo aver resistito ventiquattro ore alla forza soverchiante del nemico. La chiesa di San Giovanni Battista, semi distrutta; le persone presenti nel borgo trucidate, fortunatamente non molte, perché uomini e donne non atti alle armi, all’arrivo dei francesi, si erano rifugiati sui monti. Quel conflitto, consumato nella muraglia, dove la porta si apriva,  fu ordinato dal generale francese Rej, a mò di rappresaglia nei confronti di alcuni abitanti del posto, che con la guida  di Michele Pezza, detto Fra Diavolo, compivano atti di sabotaggio nella Piana del Garigliano. Fu proprio Fra Diavolo, venuto a conoscenza dell’invasione, a cacciare i francesi dal castello, costringendoli a scappare precipitosamente, lasciando, nella ritirata, i cadaveri insepolti dei loro commilitoni. Altri fanno risalire il nome della porta alla presenza di macellerie,  ivi ubicate e chiamate in dialetto chianche o cianche. Di queste oggi, sono visibili,  solo alcuni ruderi, perché distrutte dalla Seconda Guerra Mondiale. “La Chianca” è chiamata anche Porta del Seggio per indicare quella che dava l’accesso al Palazzo Municipale nel quale, in occasione di votazioni elettorali, veniva allestito il seggio.

La Porta Santa costruita anch’essa in pietra tagliata, portava tale nome per indicare l’accesso alla zona sacra del castello che vantava la presenza di due Chiese. Quella di San Giovanni Battista edificata accanto alla torre, oggi, Parrocchia della comunità castelfortese e quella di San Carlo, oggi inesistente. Questa Porta era anche chiamata Porta del Ponte per indicare la presenza del ponte levatoio. Sulla destra, il ponte levatoio presentava una costruzione fortificata ad angolo, denominata “Cantone” della quale sono ancora visibili i segni dell’artiglieria del 1799.

La Torre fu edificata nella parte più alta del borgo, mediante l’utilizzo di pietre tagliate a squadra che danno alla stessa una forma rettangolare ed una base quadrata. La sua funzione era quella di scorgere l’avanzata del nemico e comunicare a vista con altre due torri, quella di Suio e quella di Ventosa. Dai suoi 30 metri di altezza sorvegliava il mare e la montagna avendo  visione dell’intero Golfo di Gaeta e dell’arco dei Monti Aurunci che lo chiudeva. Oggi, totalmente recuperata dai danni della guerra, sebbene leggermente abbassata, costituisce, accanto alla Chiesa di San Giovanni Battista, un elemento architettonico di notevole importanza, testimonianza dell’illustre passato di quel borgo medioevale quale fu Castrum Forte.

Le Abitazioni, poste nella parte estrema dell'agglomerato antico, attuale rione di San Giovanni, furono costruite secondo la tipologia castrense, tenendo conto degli aspetti architettonici, e quindi terrazzate. Solo in epoca recente le coperture piane, le cui tracce sono ancora evidenti su alcune di esse, furono sostituite con i “coppi” costruiti nel vicino Penitro, località formiana. I muratori erano progettisti dei loro stessi fabbricati. I proprietari che erano quasi tutti esponenti della nobiltà terriera, con tali edifici, esprimevano il segno distintivo, il rango sociale e l’alterigia che “essi occupavano in Castelforte”. Queste case, con finestre piccole e molto alte, formavano una seconda cinta muraria e quindi una difesa ulteriore. Le troviamo ancora oggi arroccate intorno alla torre, totalmente ricostruite nel dopoguerra  ma con l’impegno  di restituire ad esse la loro fisionomia originaria.