Nel 1620 il duca Filippo I Colonna avvia nel cuore di Paliano la costruzione del palazzo di famiglia.
I lavori durarono circa dieci anni e nel 1630 l'edificio fu terminato, i palianesi rimasero colpiti dalla lapide apposta sul palazzo che recitava “Philippvs Colvmna Dvx Posito Lvcretia Tomacellae Conivgi Sibi Svisqve Sepvlchro Id Ivxta Ad Animi Svi Qvietem Erexit Hanc Avlam” un messaggio d'amore che Filippo dedica alla sua amata consorte Lucrezia Tomacelli, scomparsa nel 1622.
E' Gerolamo Colonna, figlio di Filippo e cardinale, che porta a termine i lavori di ampliamento dell'edificio, affidando l'incarico ad Antonio Del Grande, noto per aver progettato a Roma la Galleria Colonna e per aver curato la ristrutturazione dei palazzi di famiglia di Marino, Genazzano e Rocca di Papa.
Nel corso degli anni la residenza dei Colonna si arricchisce di importanti opere d'arte. Nella Sala delle Armi sono conservati numerosi trofei di guerra tolti ai Turchi dopo la battaglia di Lepanto.
Nei saloni del piano nobile sono custoditi dipinti di artisti italiani e spagnoli del Seicento e del Settecento, due opere sono particolarmente interessanti, il ritratto di Marcantonio Colonna opera di Scipione Pulzone e quello di papa Martino V copia del Pisanello.
Nel salone di ingresso è possibile ammirare il letto da campo di Marcantonio mentre nella cripta sotterranea, dove sono sepolti i componenti della famiglia Colonna del ramo di Paliano, si trova la bella copia della “Resurrezione dei membri di casa Colonna” di Pietro da Cortona.
Attualmente il palazzo è residenza privata e proprietà degli eredi di Aspreno i quali fanno parte, da qualche anno, dell'associazione “Dimore storiche italiane.