Un jour de l'an 484, Euric fit exécuter l'ermite après lui avoir fait trancher les oreilles. Le corps du martyr fut enterré par des bergers au fond de la grotte où il avait vécu et audevant de laquelle une petite chapelle fut édifiée, plus tard, à la gloire de Servus, sanctifié sous le nom de Saint-Ser. Le sanctuaire fut consacré le 5 janvier 1001 par Amalric, évêque d'Aix-en-Provence.
Quant à la chapelle elle-même, elle connut des fortunes diverses. Plusieurs fois détruite, plusieurs fois reconstruite. En 1998, un éboulement de rochers, dû à l'érosion consécutive au terrible incendie de 1989 de la montagne Sainte-Victoire, écrasa l'édifice.
La reconstruction à l'identique fut réalisée en l'an 2000 par la Municipalité présidée par le Maire Frédéric Guinieri.
L'inauguration solennelle de la chapelle reconstruite a eu lieu le 27 mai 2001, mille ans après sa consécration.
Accès à pied depuis le parking Saint Ser sur la D17 entre Saint Antonin et Puyloubier.