Elle provenait du petit village de Saint-Martin-de-Queyrières, au sud de Briançon et a été rapportée en 1350 par un ermite jusqu’à Tarascon afin de la protéger des vaudois. Et aussi en remerciement envers Marthe de Béthanie pour avoir sauvé les Gavots de la Peste Noire.
Le premier pèlerinage attesté date de 1420, il est le symbole d’une tradition religieuse et populaire fort ancienne. Aujourd’hui la Confrérie des prieurs de Notre Dame du Château est la garante de la tradition à travers ses prieurs élus chaque année.
Dans une période plus moderne et contemporaine, la chapelle de Notre-Dame-du-Château est restaurée en 1859 à la suite d’un legs et déclarée chapelle de secours par décret du 25 mai de la même année. Elle est inscrite aux Monuments Historiques en 1926.