Venna fatta costruire da Roffredo III Caetani, conte di Traetto dal 1299 al 1336, e  nipote di Papa Bonifacio VIII. Roffredo sposò Giovanna, ultima erede della famiglia Dell'Aquila. Il Tempio fu edificato su un preesistente "loco" francescano adibito a cappelle gentilizie dalle famiglie Orsini e Caetani. Nella chiesa di San Francesco fu sepolto il conte Nicolò I, morto di peste nel 1348, e la contessa Giacoma Bella Orsini, deceduta nel 1363, madre del ventisettenne Onorato I Caetani. Nel 1363 (presunta data di costruzione della chiesa, secondo il canonico Francesco Antonio Riccardelli) fu redatto, il 26 marzo, il testamento di Onorato I Caetani, dal quale si evince che la chiesa di San Francesco esisteva già da tempo, mentre viene citata la sola chiesa dell'Annunziata di Fondi  “de novo constructa”. Si ha notizia della costruzione francescana nel testo Il provinciale di frate Paolino di Venezia, vescovo di Pozzuoli dal 1324 al 1344.