Secondo varie testimonianze, che si rifanno ad una cronologia del magistrato romano Bartolo, la chiesa sorse su un tempio pagano costruito dai profughi di Amicle qui rifugiatisi e dedicato ad Apollo.

Nel 587 d.C., Andrea, Vescovo di Fondi, della cui diocesi faceva parte anche Lenola, fece demolire questo tempio e vi fece innalzare una nicchia dove collocò l’immagine della Madonna. In seguito la nicchia fu trasformata in una chiesetta chiamata “Madonna del Latte”. Il nome deriva da una tela che copriva un affresco raffigurante la Vergine che allattava il Bambino.

Secondo la tradizione, le mamme che non potevano più allattare i loro figli si recavano in questa chiesa con una grossa pietra in testa, in segno di umiltà, e, raschiando con un dito l’intonaco dall’affresco lo mangiavano chiedendo alla Vergine di riavere il latte. La chiesa è di modeste dimensioni e si sviluppa in due piani: piano terra per il culto e piano rialzato adibito ad abitazione del sacerdote. E’ stata da sempre custodita da un eremita. L’ultimo è stato un certo Tullio Gaetano, morto nel 1944 a 84 anni.

La chiesa si trova nella località omonima a circa due chilometri da Lenola.