La storia del museo è legata alla storia del castello in cui ha sede. Infatti un tempo abbracciava e proteggeva con le sue mura la comunità, prima di essere progressivamente abbandonato ed infine semidistrutto dai bombardamenti della seconda guerra mondiale. E' stato quindi fatto risorgere dai suoi ruderi per tornare ad essere il nucleo e l’anima della comunità degli ausoni.
L’uno di fronte all’altro, il Fammera ed il Castello esprimono una forte corrispondenza simbolica; danno forma a quel rapporto tra natura e cultura, sempre citato dagli antropologi, che qui trova manifestazione materiale e visibile. Profonde sono infatti le relazioni tra le vicende storiche e sociali della comunità ed il paesaggio locale: tra le devastazioni dei bombardamenti e le violenze fisiche e morali subite dalle popolazioni in quell’occasione. In questa cornice storica il Castello di Ausonia è diventato perciò anche il simbolo di una integrità comunitaria violata, dilaniata e frammentata dalle violenze di una guerra (che in questi luoghi è stata particolarmente crudele), che proprio per questo doveva essere ricostruita e re-integrata - anche simbolicamente - restituendo al Castello la sua forma intatta ed originaria, riscattata da orrori e distruzioni. 
 
L’ impegno del Museo della Pietra di Ausonia è di crescere e svilupparsi su due direttrici:

- Come attivo centro di ricerca (anche interdisciplinare), documentazione, elaborazione ed esposizione di nuovi scenari interpretativi della cultura della pietra locale e laziale, da un lato. In questa direzione segnaliamo una recente iniziativa della Regione Lazio, accolta dal Comune di Ausonia e dal Museo, ospitando al suo interno uno Show Room lapideo delle Pietre del Lazio (Latium Natural Stones, 16 aprile 2007)
- Dall’altro, ambisce a diventare luogo di promozione e valorizzazione di un patrimonio locale che, grazie a connessioni sistemiche con altre realtà territoriali e museali d’area, può contribuire allo sviluppo di un circuito turistico-culturale necessario per uno sviluppo socio-economico, compatibile ed integrato, della comunità e del territorio.
Il primo impegno concreto in questa seconda direzione è una ricerca di etnografia della memoria e del territorio relativa alle esperienze vissute nel secondo conflitto mondiale, per molti anni consegnate al silenzio, rimosse e/o censurate.