C’est au 12ème siècle que l’on parle pour la 1ère fois d’un château fort « Chasteau Sarrasin » construit par le Roi de France et le Comte de Toulouse – le but en étant de contrôler les voies de passage terrestre et fluviale à côté du bourg de St Sauveur.
Avec l’accroissement rapide de la population, ce nom de « Chasteau Sarrasi » se substitue rapidement à celui de St Sauveur.
En 1243 St Louis, revenant de Bordeaux, se rend à ND d’Alem pour y recevoir le serment de fidélité de 22 seigneurs de l’agenais et fonde alors, le 1er hôpital de Castel.
En dernier lieu, en Novembre 1271, les habitants de Castel font définitivement allégeance au roi de France, Philippe III.
Au cours des siècles, Castelsarrasin fut l’objet de nombreuses invasions : les Vandales (qui donnèrent le nom à Gandalou) les Normands, les Anglais.
Elle eut aussi à subir de nombreuses guerres : guerre des Albigeois 1207-1229 – guerre de cent ans 1337-1453 – les guerres de religion : elle se campe alors comme Castelsarrasin la Catholique face à Montauban la Protestante.
Sans développer le sujet, il y aurait trop à dire, Castel posséda pas moins de 5 couvents : Carme, Bénédictins, Capucins, Dominicains et Ursulines, siège actuel de la Sous- Préfecture.
En 1622, le château est démoli sauf 2 tours. En 1752 un arrêt décide, pour finir, et ceci afin d’agrandir la ville, de démolir les dernières murailles ainsi que de combler les fossés existants.
On ne peut pas passer sous silence l’attribution, au 13ème siècle des reliques de St Alpinien qui devint ainsi le st patron de Castel.
C’est sous Napoléon, exactement en 1808, que l’empereur, venant de Montauban, décrète la formation du T et G, ainsi, Castel passe alors, de Sous- Préfecture de la Haute Garonne à Sous- Préfecture du Tarn et Garonne.
Dès lors, avec le développement des voies de communication comme le canal et la voie ferrée, la création de la caserne en 1876 devenant deuxième place d’arme du Sud- Ouest ainsi que l’implantation de l’usine métallurgique, Castelsarrasin se place comme deuxième site économique du T et G.
Située au confluent du Tarn et de la Garonne, grande région de production, Castelsarrasin s’énorgueillit de son marché de producteurs ainsi que de son fameux marché au gras, le plus important de la région.
Conscient de ce capital gustatif de plus en plus rare, s’est créé en 1972, la Confrérie du Grand Ordre des Capitouls de l’oye et tastevin de St Jean des Vignes;celle ci s’est donnée comme mission de faire connaitre, apprécier et aimer les produits du terroir; pour ce faire elle organise ou participe activement à différentes manifestations de mise en valeur de ces produits ainsi,entr’autres,le concours des vins de Sud Ouest.