Antigua residencia de los arzobispos de Narbona, Villerouge-Termenes no sufrirá mucho durante la cruzada contra los Albigenses. El 24 de agosto de 1321 muere en esta Belibaste, ultimo perfecto cátaro del Languedoc.
Murió en la hoguera. El castillo forma parte del pueblo, ya que las casas se edificaron en torno a el.
Esto ha hecho que se hayan conservado en muy buen estado las estructuras esenciales del castillo, como los cuatro ángulos de la muralla, con sus torres redondas, entre las cuales, las del sudeste, era el torreón.
