Devenu propriété du nouveau canton de Vaud suite à la Révolution qui chasse les Bernois en 1798, le château est vendu à la commune d’Aigle en 1804. Il abrite alors les prisons cantonales de district situées essentiellement, comme à l’époque bernoise, dans les tours circulaires. Considérées comme les plus inhumaines et les plus froides du canton tout en n’offrant aucune garantie contre les évasions elles sont réaménagées dans la tour carrée en 1832-1834 sous les ordres du canton par l’architecte Henri Perregaux. De nombreux détenus, tant hommes que femmes, y seront enfermés jusqu’en 1972. Le château abrite aussi l’hôpital, soit l’asile des pauvres de la commune pour lesquels plusieurs logements sont créés, d’abord dans la tour carrée, puis dans le corps de logis central. Ils y subsisteront jusque vers 1916. Le tribunal de district s’installe au château dès 1825 et y restera jusqu’en 1964.
En 1900, le château est classé au nombre des monuments historiques du canton de Vaud. En 1909, un relevé complet est réalisé par Otto Schmid, architecte du château de Chillon. Conscientes de l’intérêt historique de l’édifice, les autorités communales d’Aigle songent dès les années 1920 à en faire un musée. Cependant ce n’est qu’en 1943 que l’architecte Schmid établit un projet de restauration générale qui ne sera finalement pas réalisé.
Après le départ des prisons, en 1972, une grande campagne de restauration et de transformations permet au château de devenir un site de culture et de convivialité.
Au milieu des années 1990, la grange du château est restaurée et transformée pour devenir la Maison de la Dîme. Elle accueille depuis 1996 le restaurant La Pinte du Paradis et une salle de réception.
Une nouvelle campagne d’entretien et de restauration du château est menée au début du 21e siècle. En 2010, le nouveau Musée vaudois de la vigne, du vin et de l’étiquette est inauguré et présente une exposition permanente d’envergure.