On y relève un premier oppidum à l'époque protohistorique suivi par un habitat à la période hellénistique. Les Romains y ont laissé quelques traces avant de le délaisser en partie.
À partir du XIe s. le site acquiert une nouvelle importance quand les Seigneurs des Baux l'intègrent dans le système défensif de leur territoire. Le château s'appuie alors sur 4 tours dont trois restent visibles. Le lieu compte 40 foyers. Le seigneur des Baux y fait élever la chapelle castrale de Ste-Marie-de-Castillon.
Le site sera abandonné au XIVème sans trace de destruction, il servira de " carrière " pour l'extension du village de St-Martin-de-Castillon.
Des éléments de la fouille du site sont à voir dans le hall de la mairie du village.
Source : DATAtourisme
— Régie Tourisme de la CC Vallée Des Baux-Alpilles