O exemplo mais antigo escrito de Castelsarrasin, como Castel Sarracenum, é do ano 961. Foi escrito no testamento de Raymond II de Rouergue onde ele deu a igreja de Saint-Sauveur ao mosteiro de Moissac.
Castel Sarracenum ("Castelo Sarraceno") recebeu esse nome porque o castelo foi construído na era Sarracena.
Houve muitas guerras durante o início da história da cidade:
- contra os ingleses até o final do século XII;
- a Cruzada Albigensiana durante a primeira parte do século XIII; e
- a Cruzada dos Pastores de 1320 quando muitos judeus que viviam na cidade foram mortos.
Mais tarde, a Guerra dos Cem Anos afetou a região. A maioria das pessoas que viviam na cidade eram católicos, mas muitos protestantes viviam ao redor da cidade. As lutas eram comuns aqui entre esses dois grupos durante as Guerras da Religião Francesa no século 16.
A região estava mais calma durante os séculos seguintes, até a época da Revolução Francesa.
De 1790 a 1795, Castelsarrasin foi a capital do Distrito de Castelsarrasin, no departamento de Haute-Garonne. Em 1808, quando foi criado o departamento de Tarn-et-Garonne, o arrondissement de Castelsarrasin passou a fazer parte do novo departamento.