Le donjon avec son contrefort du XIIème siècle est la seule fortification du système défensif du château restant à ce jour.
Le donjon est bien carré, et de par sa forme, caractéristique de l'école architecturale du midi. Les tours rondes étaient de règle dans le domaine du Roi de France. Mais le Quercy relevait à l'époque du Duché de Guyenne.
Le donjon (24 m de haut, aujourd'hui) dominait une chaîne interrompue de remparts, de bastions et de tours. L'ensemble a été largement pillé au XIXe siècle.
Le château fut l'objet de nombreux conflits : Richard Cœur de Lion, roi d'Angleterre (1189-1199), l'assiège puis l'occupe en 1188. Puis vint la Croisade des Albigeois. Luzech, rattachée à Raymond VI, comte de Toulouse est prise dans la tourmente. En 1211, à Lavaur, 400 cathares périssent sur la bûcher. C'est l'année où Guillaume de Cardaillac fait le voyage de Paris pour rendre hommage au Roi de France Philippe Auguste (1180-1223).
Cette même année 1211, à la fin de l'été, Simon de Montfort et ses Croisés vont à "Rocamadour". Après Béziers, Lavaur, la liste est longue des carnages et des bûchers de la croisade : Muret, Moissac, Albi, Agen, Toulouse, Montségur. Luzech ne fut pas épargnée puisque son château fut pillé et brûlé par les croisés en 1212.
L'Évêque de Cahors, Guillaume de Cardaillac racheta ce qui restait du château, devint de ce fait seigneur de Luzech et autorisa le baron à construire un deuxième château de moindre importance sur le rocher de la Trincade.
