Cette porte dite de la Brèche est un vestige des deux tours qui barraient les accès haut (ouest) et bas (est) de la grand rue.
Leur utilité et leur agrément sont encore reconnus de tous en 1808 mais elles exigent réparation. Comme pour d'autres bâtiments, faute de moyens, on repousse les échéances. Certains conseillers proposent la démolition de la tour Est mais la majorité du conseil municipal reste encore favorable à sa conservation. Peu à peu les mentalités évoluent et la décision de démolir l'emporte en 1827.
Sur la lancée, reconnaissant que la tour Ouest est incommode pour faire entrer en ville les provisions, le conseil vote sa destruction. Il faudra attendre 1835 pour voir exécuter cette décision. Pour agrémenter l'espace vacant "on construira des pilastres en briques provenant de leur démolition, avec corniches et couronnement pour recevoir des urnes ou autre décoration ...".
Seuls les pilastres Est seront construits en 1839 et recevront une élégante ferronnerie supportant un réverbère.