L’église qui date de XIème siècle est placée sous le patronage de Notre-Dame. Les pèlerins qui se rendaient à St Jacques de Compostelle par l’antique voie romaine toute proche devaient s’arrêter à Notre Dame de Charmant qui se trouvait sur leur passage.
On y vient en pèlerinage chaque année le jour de l’Ascension.