Le couvent fut à l'origine (XIe s.) un prieuré bénédictin qui hélas, en 1559 fut en grande partie détruit par un incendie qui ravagea la ville. Il fut racheté en 1621 par les moines Minimes et des travaux importants furent effectués en 1629.
Source : site du petit-patrimoine que vous pouvez consulter ci-dessous.