A l'origine le village était installé autour du château construit sur le rocher de la Coste.
Au XIIème siècle, face à l'augmentation de la population une nouvelle enceinte de remparts est construite et la porte des moulins est ouverte en direction du nord et de l'église.
Son nom vient du moulin à blé seigneurial qui était installé au-devant de la porte (à l'emplacement du parking).
Au XVIIème siècle, la porte est surélevée et un beffroi signalant la présence de la maison des consuls est construit. A partir de ce moment-là la porte prend le nom de porte de l'horloge.