1305 wurde Clemens V zum Papst gewählt und hat die berühmte Entscheidung getroffen, das Papsttum nach Avignon zu verlegen, um die politischen Unruhen in Rom zu der Zeit zu vermeiden. Dieser Umzug bedeutete, dass der päpstliche Sitz ein neues zu Hause brauchte, so dass der größte mittelalterliche, gotische Palast der Welt auf dem Fundament eines alten bischöflichen Palastes gebaut wurde. Obwohl die Bauarbeiten unter Clemens V begannen, wurde dieses Gebäude 1334 weitflächig unter Benedikt XII ausgebaut und dann nochmals 1342 zu der Amtszeit von Clemens VI, als er dem Palais Vieux (Alten Palast) und dann dem Palais Neuf (Neuen Palast) beigetreten war. All diese Umbauarbeiten und vor allem diese Erweiterung kreierten dieses monumentale Prachtstück wie wir es heute kennen, mit seinen fantastischen Objekten und der reichen und komplexen Vergangenheit; der Bau deckt eine Fläche von schwindelerregenden 15000 m² ab und kann u.a. mit 10 Festungstürmen prahlen, war das Heim der größten Bibliothek Europas zu der Zeit und beherbergt exzellente Fresken und Freskenzyklen.



