Installé sur son rocher exposé au sud, dans un méandre de la Cesse, Agel se caractérise par ses ruelles étroites entourant un château médiéval.
De nombreux éléments attestent de la présence lointaine de l'homme sur ce territoire.  La source captée au pied du pech et qui alimente la fontaine, date des romains.

De l'ancien château, qui ne se trouvait pas à l'emplacement de l'actuel, mais un peu plus à l'ouest, il ne reste que la vieille porte de pierre et le nom de fort vieux à la place qui l'a remplacé.

Le château actuel lui date  du XII siècle, son origine est assez mal connue. De part sa configuration il devait faire partie des châteaux forts qui prolongeaient la résistance des seigneurs vassaux du comte de Toulouse au moment de la croisade des albigeois.
(Un peu d'histoire.)