L'histoire du village est étroitement liée à celle de la famille de Bernuy. Cette famille est native de Castille, chassée d'Espagne par l'Inquisition, se réfugie à Toulouse en 1499. Ses membres feront fortunes dans le commerce du pastel à la fin du XVe siècle.

Jean de Bernuy (1475-1556) débute la construction en 1503 à Toulouse d'un hôtel qui portera son nom et qui abrite actuellement une partie du lycée Pierre-Fermat. Il devient l'un des plus riches pasteliers de Toulouse. Il est naturalisé en 1509, et rachète en 1514 la seigneurie de Villeneuve à la famille de Caraman, prenant ainsi le titre de baron de Villeneuve.

Pierre, son fils, est nommé premier sénéchal du Lauragais par Catherine de Médicis. La seigneurie de Villeneuve-la-Comptal sera transformée en baronnie en 1551, sous François 1er. Les différents seigneurs se succèdent, ils sont propriétaires d'une partie du village, surtout du chateau et des moulins. Ces derniers constituaient leurs premières sources de revenus car leur usage était impératif pour leurs sujets et tarifé. Du XVIe siècle à 1908, les moulins furent une véritable «mine d'or». Quatre moulins furent construits : deux sur le puech (moulin à vent), un au sud-est de l'actuel cimetière (moulin pastelier) et un quatrième au bord de la Pomelle (moulin à eau).

Le village est alors groupé autour du château et de l'église fortifiée, ceci permet d'attirer de nouveaux habitants à l'intérieur d'une ville fortifiée. En effet, l'existence de murailles, de fossés et de gardes assure la tranquillité des villageois. A cette époque, une seule entrée existe dans la rue des Remparts.

Aujourd'hui, laissé en ruine par ses propriétaire, seul reste les vestiges des puissants mur de défense.