Edificata da Marcantonio I Colonna agli inizi del XVI secolo la chiesa di S. Andrea venne probabilmente ricostruita sulle fondamenta di una precedente di epoca medievale, anch'essa dedicata all'Apostolo martire. Il progetto è quello di un mausoleo colonnese, tanto che a S. Andrea, diversamente da quanto avverrà in altre chiese romane, verranno sepolti unicamente i Principi Colonna di Paliano.
La chiesa è caratterizzata in facciata da sobrie linee.  L'interno a pianta basilicale è diviso in tre navate, su quelle laterali, con volte a crociera, si aprono delle cappelle semicircolari. 
Nel 1584 la chiesa non risulta ancora terminata nonostante avesse già in parte dei sotterranei, la cripta per la sepoltura dei Colonna e nella parte superiore, che è oggi il coro absidale della Collegiata, una maestosa Cappella per monumenti funerari.
Così come per il palazzo Ducale, anche per la Collegiata, si fece uso di materiali poveri come "il peperino grigio", la pietra locale adatta a connotare anche da un punto di vista cromatico, gli elementi architettonici dell'opera ma diversi interventi di rifacimento ne hanno alterato in parte l'aspetto originale e la facciata, in origine di peperino grigio, fu ricoperta dall'intonaco.
All'interno, la Collegiata conserva dei piccoli capolavori d'arte sacra, che coprono un periodo che va dalla prima metà del '600 alla fine del '700.
Con l'altare venne eseguita anche la pala, che raffigura S. Francesco di Paola in ginocchio in adorazione del Bambino, che gli appare più in alto a sinistra e, ai suoi piedi, due angioletti, uno con un libro aperto e l'altro con un ramo di giglio.
In fondo alla navata sinistra vi è la Cappella di S. Andrea, che fu eretta per volontà di Filippo I Colonna, negli anni 1613-16, che la dedicò ai Santi Carlo Borromeo, Filippo Neri e a S. Lucrezia, in memoria della moglie Lucrezia Tomacelli, morta nel 1620.
Era la Cappella privata dei Colonna, in comunicazione con il palazzo e il sepolcreto di famiglia.
Al centro dell'abside in alto, sovrastante le memorie funebri, vi è lo straordinario dipinto ovale rappresentante il Martirio di S. Andrea, opera di Tommaso Conca (1734-1822), nipote del più famoso Sebastiano.
Nella controfacciata svetta un pregevole organo a canne Catarinozzi del 1727.