Il luogo di culto è nato in seguito all’apparizione della Madonna che, nel 1521, avrebbe soccorso una bambina di circa tre anni di nome Oliva Iannese. Oliva si era persa sulla montagna in cerca della mamma, durante la notte viene sorpresa da una tempesta, in quel momento le appare una "Bella Signora". Con la bambina la Madre Celeste rimase per 7 giorni interi, giorno e notte, la protesse dal maltempo e la nutrì, dopodiché le indica la strada del ritorno in paese. Cosa particolarissima, che ogni qualvolta Oliva aveva fame, la "Bella Signora" le metteva il dito in bocca e alla bambina passavano ogni tipo di fame e di sete. Quando la bimba fu ritrovata descrisse l'esperienza vissuta e, per la sua innocenza, fu creduta.