De 1474 à 1477, les guerres de Bourgogne opposent les Suisses et leurs alliés, futurs vainqueurs menés par les Bernois, au duc de Bourgogne Charles le Téméraire et à la Savoie dont Aigle fait partie. A la fin août 1475, des Bernois aidés de montagnards de la Haute Gruyère conquièrent le château d’Aigle. La rive droite du Rhône de Lavey jusqu’au lac et aux portes de Villeneuve reste bernoise et dès 1476 devient la première région francophone à être intégrée à la Confédération suisse. Berne y enverra des gouverneurs pour des mandats d’en principe six ans.

De 1479 à 1510, le château est presque entièrement reconstruit par les Bernois. L’intervention la plus importante touche les enceintes et les tours circulaires qui sont renforcées et adaptées aux exigences nouvelles de l’artillerie.
La création la plus notable est la grande tour carrée destinée davantage à l’habitation et à l’apparat qu’à la défense. Le corps de logis central est abaissé et l’intérieur est réaménagé comme l’attestent encore trois portes gothiques au premier étage ainsi que les fenêtres à croisée de pierre des façades sud et est.

Une nouvelle aile est construite dès 1584 entre la tour carrée et le corps de logis central pour y installer les appartements privés du gouverneur et de sa famille. Ce bâtiment comprend au premier niveau la salle des audiences dont le plafond est orné d’un décor de mauresques, exceptionnel par sa polychromie. Il est l’œuvre du peintre Andreas Stoss, artiste qui a aussi travaillé aux châteaux de Chillon, d’Oron, de Lucens, de Curtilles ainsi qu’à Vevey et à Berne.

La tour des Savoie et des Saillon est transformée de 1587 à 1589 en grange du château, actuelle Maison de la Dîme. Aux 17e et 18e siècles, de nombreux aménagements successifs améliorent le confort du château.
Au début des années 1630, de nombreux aménagements sont commandés par le gouverneur en fonction. Confronté au mauvais état général des bâtiments et au manque d’espace habitable pour accueillir les envoyés de Berne, il dépense une somme importante pour acheter du mobilier, aménager plusieurs pièces et en faire décorer d’autres de peintures murales. En 1669, la charpente du corps de logis central est reconstruite. A la fin du 17e siècle, le château reçoit encore d’importantes modifications dont de nouveaux décors muraux et une nouvelle chambre du banneret ornée de boiseries de style Louis XIV.

Entre 1738 et 1740, les appartements privés du gouverneur et de sa famille sont étendus à l’ensemble du premier étage qui est entièrement réorganisé. Plusieurs pièces sont dotées de boiseries, de plafonds de plâtre, de nouveaux planchers, de poêles de faïence ou de cheminées. Une nouvelle porte d’entrée donne accès au corps de logis et un escalier à deux rampes droites remplace un escalier en vis peu commode. Les façades ouest et nord reçoivent des grandes fenêtres rectangulaires.
Les cours sont alors occupées par diverses dépendances. La seule qui subsiste encore, espace d’accueil actuel, abritait des fours à pain peut-être depuis la fin du 16e siècle. Son aspect extérieur remonte au milieu du 18e siècle.

Devenu propriété du nouveau canton de Vaud suite à la Révolution qui chasse les Bernois en 1798, le château est vendu à la commune d’Aigle en 1804. Il abrite alors les prisons cantonales de district situées essentiellement, comme à l’époque bernoise, dans les tours circulaires. Considérées comme les plus inhumaines et les plus froides du canton tout en n’offrant aucune garantie contre les évasions elles sont réaménagées dans la tour carrée en 1832-1834 sous les ordres du canton par l’architecte Henri Perregaux. De nombreux détenus, tant hommes que femmes, y seront enfermés jusqu’en 1972. Le château abrite aussi l’hôpital, soit l’asile des pauvres de la commune pour lesquels plusieurs logements sont créés, d’abord dans la tour carrée, puis dans le corps de logis central. Ils y subsisteront jusque vers 1916. Le tribunal de district s’installe au château dès 1825 et y restera jusqu’en 1964.

En 1900, le château est classé au nombre des monuments historiques du canton de Vaud. En 1909, un relevé complet est réalisé par Otto Schmid, architecte du château de Chillon. Conscientes de l’intérêt historique de l’édifice, les autorités communales d’Aigle songent dès les années 1920 à en faire un musée. Cependant ce n’est qu’en 1943 que l’architecte Schmid établit un projet de restauration générale qui ne sera finalement pas réalisé.

Après le départ des prisons, en 1972, une grande campagne de restauration et de transformations permet au château de devenir un site de culture et de convivialité.
Au milieu des années 1990, la grange du château est restaurée et transformée pour devenir la Maison de la Dîme. Elle accueille depuis 1996 le restaurant La Pinte du Paradis et une salle de réception.

Une nouvelle campagne d’entretien et de restauration du château est menée au début du 21e siècle. En 2010, le nouveau Musée vaudois de la vigne, du vin et de l’étiquette est inauguré et présente une exposition permanente d’envergure.