Les vicomtes de Gimoes élevèrent au XII° siècle un puissant château autour duquel fut créé un village fortifié qui devint un des centres les plus importants de la région. En 1148 le château passa dans la maison de l'Isle Jourdain, qui accorda à Launac sa charte de coutumes en 1297. Démantelée après le traité de Paris de 1229, la forteresse fut rebâtie au XV° siècle par les Carmaing de Nègrepelisse. Elle comportait quatre tours d'angle dont une ancienne tour du XII° siècle, toujours présente.
Le château fut sans doute à nouveau démantelé par Richelieu sous le règne de Louis XIII.
Il en subsiste aujourd'hui deux ailes, dont l'aile nord coiffée d'une rangée de mâchicoulis et d'un chemin de ronde ainsi que la tour du XII° siècle.
À partir du XVII° siècle le château devint la propriété de différents parlementaires toulousains, dont Nicolas d'Aguin en 1710 qui modernisa l'édifice, et en 1737, Jean-François Tournier de Vaillac.
À l'intérieur du château on remarque une cheminée monumentale, un grand escalier en pierre et des décors peints du XV° siècle, protégés au titre des monuments historiques, tout comme le château.