L'histoire raconte qu'une abbaye devait se construire au pied du château. Les travaux commençèrent mais chaque matin, le travail de la veille était détruit. 

Le chef de chantier, ulcéré, prit son marteau et dit tout en le lançant "là où mon marteau tombera, l'abbaye se bâtira"... 

Et l'abbaye vit enfin le jour, 

nous sommes à Blasimon !