II Castello Colonna di Piglio sorse intorno all'anno 1000. Attorno ad esso nacque e si ampliò il Borgo Medioevale. La posizione del castello e del borgo con la scelta del luogo, la rete stradale esterna ed urbana costituiscono un interessante esempio di architettura militare ed urbanistica.

Il Castello è costituito da due parti differenti edificate in epoche diverse; una parte più alta (Castello superiore) ed una parte più bassa (Castello inferiore) con un dislivello fra, l'una e l'altra di circa 25 metri.

Il Castello superiore (Palatium superiore) e' posto su una spianata alla sommità di una collina dove sorge il Borgo ed è costituito da un torrione a sperone verso la montagna e da una cortina di torri lungo il lato nord.
Nella Rocca erano ubicati una loggia, una cisterna ed una piazza d'armi nonché il Palazzo Baronale con una "Sala Palatii" dove, nel 1332 e nel 1348, si celebrarono solenni investiture da parte del Signore feudale. Attualmente lin questa parte del Castello vi è la sede dell'antiquarium e vi sono depositati reperti archeologici rinvenuti nel corso di scavi effettuati nel territorio del Comune di Piglio, tra i quali il più degno di nota risulta essere una statua di donna, con veste tipicamente romana, priva della testa e delle braccia, risalente al I/II secolo a.C.

Dalla parte alta, mediante una scala, si scende verso l'Arringo, la costruzione è senz'altro anteriore all'anno 1000 in quanto e' citata in una Bolla di Papa Urbano II del 1088 come appartenente alla diocesi di Anagni.

La parte inferiore del Castello (Palatium inferiore), con piano terreno e ammezzato, ha attualmente due piani con la sistemazione esterna ottocentesca, ed è la parte meglio conservata, posta al lato nord dell'abitato, dove inizia la via Maggiore, a protezione del più importante accesso di Piglio dov'era la porta principale.
Il Castello inferiore è ricordato nei documenti a partire dall' anno 1365, epoca in cui erano signori di Piglio i "De Antiochia". Comunque la parte più antica del Castello inferiore deve essere stata edificata prima del 1328-29 anno in cui nelle decime di riscossione veniva nominata una "Ecclesia S. Petri de Castello Vetulo de Pileo", chiesa che si trovava all'interno del Castello, ma di cui non restano tracce. Il Palatium inferius o Castellutium, aveva una Corte (Platea) su cui prospettavano edifici di cui uno caratterizzato da "Camere Pinte", cioè decorate di pitture.

L'ingresso al paese è costituito da un grande arco, l'arco della Fontana, che si apre nella parte inferiore del Castello, con, alla sua destra, una bellissima trifora tardo- romanica, una fila di archetti ciechi, in alto, e subito dopo l'arco, a destra, tre alti archi di sostegno, circondati da archetti ciechi

Il Borgo non aveva mura di cinta ma le case stesse, costruite sui margini della collina, in forte pendio, avevano senz'altro anche funzioni difensive.