C’est au début du VIIe siècle que le moine irlandais Ursanne (ou Ursicin), qui aurait donné son nom à la ville, est venu s’établir ici, dans une grotte. Selon la légende, un ours a alors pris l’habitude de lui apporter des racines et des herbes. Ayant rassemblé une communauté de fidèles convertis, Ursicin, qui est fêté le 20 décembre, a fondé ici un monastère.