La période bernoise

Le 29 mars 1536, la conquête du Pays de Vaud s’achève par la prise de Chillon.
Les Bernois récupèrent un bien, certes délabré, mais en relativement bon état,
car épargné par les guerres de Bourgogne.

Le château est converti en centre administratif du bailliage de Vevey et en résidence permanente du bailli.
Recruté au sein du patriciat bernois, celui-ci porte aussi le titre de capitaine de Chillon et, en qualité de représentant du souverain, remplit de nombreuses fonctions.
L’ancienne subdivision du château en deux secteurs, l’un dévolu au seigneur, l’autre à l’intendance, n’a plus sa raison d’être et les nouveaux occupants aménagent les lieux à leur convenance, tout en adaptant son système défensif à l’usage des armes à feu.

En 1733, les baillis quittent ce logis isolé et inconfortable, pour s’installer
à Vevey. Le château, qui ne répond plus aux nécessités de la guerre, sert
dès lors avant tout d’entrepôt.

En 1785, on envisage d’en transformer la partie nord en un vaste grenier à blé, mais le projet est aussitôt enterré, peut-être en raison de sa démesure et de l’humidité ambiante.