Bay-sur-Aube " s'étage en amphithéâtre avec la rivière à ses pieds et sur sa tête, comme un diadème, sa petite église romane " écrivait André Theuriet.
L'histoire de la commune est liée à l'expansion de l'abbaye d'Auberive : les Cisterciens ont acquis dans ce village nombre de biens, revenus et droits (dîmes, moulins...) lors du départ, vers la terre Sainte, des seigneurs locaux qui cherchaient à financer leurs expéditions.
La butte de Taloison finit de couronner l'ensemble du haut de ses 428 m avec sa pelouse à orchidées.