Der Jolimont-Keller ist Teil des Château d'Allaman, das die Zeiten überdauert hat. Die Burg, eine Festung aus dem 11. Jahrhundert mit Wassergräben, Burggraben und Zugbrücke, wurde 1530 von den Berner Feinden niedergebrannt und erstand dank der vielen aufeinanderfolgenden Besitzer aus ihrer Asche wieder auf.

Unter anderem verwandelte die Marquise de Langallerie, bekannt als die „Lustige Witwe“, es im Jahr 1723 in ein Lustschloss, eine Residenz, die dem Geist der Künste und Kultur offen stand, indem sie dort häufig glanzvolle Empfänge veranstaltete.

Der Humanist Jean-Jacques de Sellon, der sich für die Abschaffung der Todesstrafe und ein Ende der Kriege einsetzte, erbte das Schloss im Jahr 1810. Es wurde zum vorübergehenden Hauptsitz der Gesellschaft für den Frieden, aus der später der Völkerbund und dann die Vereinten Nationen hervorgingen.

Die Neugestaltung des Weinbergs ab 1959 verdanken wir dem Grafen Gérard de Loriol. Seit 1974 hat Kulturchef Samuel Brocard die Leitung inne und übergab seinen Platz 2016 an Caspar Eugster, der in den wohlverdienten Ruhestand geht.