Fondé au 7è siècle, le monastère était dédié à Saint Pierre et à Saint Paul. Au milieu du 9è siècle, Saint Gilles, ermite local très vénéré, lui donna son nom. Son tombeau, placé dans l'église, allait y attirer des foules de pèlerins. Le monastère fut affilié à Cluny en 1066.A la fin du 11è siècle, on entreprit la construction d'une très vaste église au-dessus du tombeau du saint. Mais au début du 13è siècle, elle n'était toujours pas terminée. Pendant les guerres de religions, l'église fut démolie par les protestants. Seules, la crypte et la façade échappèrent à la destruction.

La façade fut restaurée de 1842 à 1868.Les sculptures de la façade subirent dans leur réalisation une double influence : une influence antique due à la présence de nombreux vestiges romains, mais aussi une influence "antihérétique" contre la doctrine prêchée par Pierre de Bruys. Cette façade a-t-elle été construite en une ou plusieurs campagnes ? Ce qui paraît plus sûr, c'est qu'elle a été élevée en plusieurs étapes avec changements de projets. Plusieurs artistes y travaillèrent, dont le fameux Brunus qui signa les statues de Saint Matthieu et de Saint Barthélémy.