Aux environs du IXème siècle, Saramon se développe et prospère autour d’une abbaye dépendant des moines de Sorèze.
La ville reçoit au XIVème siècle une charte de coutumes. Devenue ville fortifiée, elle protège le Comte d’Astarac venu s’y réfugier.

Au XIXème, vu leur état de vétusté, plusieurs tours et les deux portes de la ville sont rasées; il reste quelques vestiges de l’une d’elles: la porte de la Brèche.