
Аббатство было построено в романском архитектурном стиле, с тремя церквями, построенными последовательно с 4 по начало 12 веков. Самая ранняя базилика была самой большой церковью в мире, пока в Риме не началось строительство собора Святого Петра.
Клюни был основан герцогом Вильгельмом I Аквитанским в 910 году. Он назначил Берно первым аббатом Клюни, подчиняющимся только папе Сергию III. Аббатство отличалось более строгим соблюдением Правила святого Бенедикта, благодаря которому Клюни был признан лидером западного монашества. В 1790 году во время Французской революции аббатство было разграблено и в основном разрушено, сохранилась лишь небольшая его часть.
Примерно с 1334 года настоятели Клюни содержали особняк в Париже, известный как Отель де Клюни, который с 1843 года является общественным музеем. Кроме названия и самого здания, в нем больше нет ничего, изначально связанного с Клюни.