La Chiesa con Romitorio di Santa Maria dell'Oliva si trova al bivio di Roviano dalla Tiburtina Valeria: dal bivio, sulla sinistra, s'inerpica una salita sterrata che porta ai resti del romitorio. Le prime notizie risalgono all'867.

Nel corso dei secoli subì devastazioni e danneggiamenti ad opera di barbari e saraceni. Nel 1223 la chiesa fu donata a S. Francesco durante una sua visita al Sacro Speco, il cui ordine ampliò l'originaria struttura.

Il convento fu chiuso nel 1653 in quanto privo di rendite per mantenere più di cinque frati. Vi venivano sepolti i defunti di Roviano, di cui, tutt'oggi, nel visitare i ruderi della Chiesa, si trovano ancora i resti. Nel 1817 i beni passarono al principe Maffeo Barberini Colonna di Sciarpa e di recente sono stati acquistati dal Comune di Roviano.