Aigle liegt an einem alten Wanderweg, der in der Römerzeit zu einer der wichtigsten transalpinen Straßen wurde, dem Großen Sankt Bernhard. Die Stadt liegt außerdem strategisch günstig an einem Flussübergang, an dem seit mehr als 3.500 Jahren menschliche Anwesenheit nachgewiesen werden kann. Das Schloss von Aigle wurde auf dem Hügel von La Blonaire erbaut, geschützt vor den ungestümen Überschwemmungen des Flusses Grande-Eau.
Auf dem Gelände befinden sich zwei große Türme aus der Zeit um 1200. Die älteste, vom Ende des 12. Jahrhunderts, gehört den Herren von Aigle, den Rittern von Allio. Es ist der Ursprung des Schlosses. Die unteren Stockwerke sind der Verteidigung gewidmet und haben keine Türen, sondern sind durch eine Öffnung im oberen Stockwerk zugänglich. Der zweite Turm, der etwas jüngeren Datums ist, wurde wahrscheinlich vom Grafen von Savoyen erbaut und dann um 1232 an die Familie Saillon im Austausch für die gleichnamige Burg abgetreten. Diese beiden Türme sind mit Sicherheit von Nebengebäuden, einer Einfriedung und Gräben umgeben, die sie schützen und gleichzeitig voneinander trennen.
Zwischen dem Ende des 13. und dem 14. Jahrhundert wurden verschiedene Arbeiten am Turm der Herren von Aigle durchgeführt, die dazu führten, dass er seinen Verteidigungscharakter zugunsten eines Wohnsitzes einbüßte. Insbesondere wurden die beiden Türen im Erdgeschoss des Turms durchbrochen, um Zugang zu den heutigen Räumen, den Berner Kellern und den Weinpressen, zu erhalten. Außerdem wurde ein Anbau errichtet, von dem die beiden zugemauerten Fenster an der Südwand erhalten sind.
In den Burgunderkriegen von 1474 bis 1477 kämpften die Schweizer und ihre Verbündeten, die späteren Sieger unter der Führung der Berner, gegen den Herzog von Burgund, Karl den Kühnen, und Savoyen, zu dem auch Aigle gehörte. Ende August 1475 eroberten die Berner mit Hilfe von Bergleuten aus der Haute Gruyère die Burg von Aigle. Das rechte Rhôneufer von Lavey bis zum See und die Tore von Villeneuve blieben unter bernischer Kontrolle und wurden ab 1476 als erste französischsprachige Region in die Eidgenossenschaft integriert. Bern entsendet die Gouverneure grundsätzlich für sechs Jahre in die Region.
Zwischen 1479 und 1510 wurde das Schloss von den Bernern fast vollständig umgebaut. Der wichtigste Eingriff betraf die Einfriedungen und die Rundtürme, die verstärkt und an die neuen Anforderungen der Artillerie angepasst wurden.
Das bemerkenswerteste Bauwerk ist der große viereckige Turm, der mehr für Wohn- und Zeremonialzwecke als für die Verteidigung gedacht war. Das Hauptgebäude wurde abgesenkt und das Innere neu gestaltet, wovon die drei gotischen Türen im ersten Stock und die steinernen Kreuzfenster an der Süd- und Ostfassade zeugen.
Zwischen dem quadratischen Turm und dem Hauptgebäude wurde 1584 ein neuer Flügel errichtet, in dem die Privatwohnungen des Gouverneurs und seiner Familie untergebracht wurden. Im ersten Stock dieses Gebäudes befindet sich der Audienzsaal, dessen Decke mit maurischer Dekoration verziert ist, die durch ihre Polychromie außergewöhnlich ist. Es ist das Werk des Malers Andreas Stoss, der auch in den Schlössern Chillon, Oron, Lucens, Curtilles sowie in Vevey und Bern tätig war.
Der Turm von Savoyen und Saillon wurde von 1587 bis 1589 in die Scheune des Schlosses umgewandelt, die heute das Zehnthaus ist. Im 17. und 18. Jahrhundert wurden nach und nach zahlreiche Verbesserungen am Komfort des Schlosses vorgenommen.
In den frühen 1630er Jahren gab der amtierende Gouverneur eine Reihe von Verbesserungen in Auftrag. Angesichts des allgemein schlechten Zustands der Gebäude und des Mangels an Wohnraum für die Berner Gesandten gab er eine große Summe aus, um Möbel zu kaufen, mehrere Räume einzurichten und andere mit Wandmalereien zu versehen. Im Jahr 1669 wurde der Dachstuhl des Hauptgebäudes neu errichtet. Ende des 17. Jahrhunderts wurde das Schloss noch einmal grundlegend umgebaut, u. a. mit neuen Wanddekorationen und einem neuen Bannersaal, der mit Holzarbeiten im Stil Ludwigs XIV. verziert war.
Zwischen 1738 und 1740 wurden die Privatwohnungen des Gouverneurs und seiner Familie auf das gesamte erste Obergeschoss ausgedehnt, das komplett umgestaltet wurde. Mehrere Räume wurden mit Holzarbeiten, Stuckdecken, neuen Fußböden, Kachelöfen und Kaminen ausgestattet. Eine neue Eingangstür ermöglicht den Zugang zum Hauptgebäude, und eine Treppe mit zwei geraden Geländern ersetzt eine umständliche Wendeltreppe. Die West- und Nordfassade haben große rechteckige Fenster.
Die Höfe wurden dann von verschiedenen Nebengebäuden eingenommen. Das einzige noch erhaltene Gebäude, der heutige Empfangsbereich, beherbergte vielleicht seit Ende des 16. Jahrhunderts Brotbacköfen. Sein äußeres Erscheinungsbild stammt aus der Mitte des 18. Jahrhunderts.
Nach der Revolution, die die Berner 1798 vertrieb, ging das Schloss in den Besitz des neuen Kantons Waadt über und wurde 1804 an die Gemeinde Aigle verkauft. Danach beherbergte es die kantonalen Bezirksgefängnisse, die wie in der Berner Zeit hauptsächlich in den Rundtürmen untergebracht waren. Sie galten als die unmenschlichsten und kältesten des Kantons und boten keine Garantie für eine Flucht. 1832-1834 wurden sie im Auftrag des Kantons durch den Architekten Henri Perregaux im quadratischen Turm renoviert. Viele Häftlinge, sowohl Männer als auch Frauen, waren dort bis 1972 eingesperrt. Das Schloss beherbergte auch das Krankenhaus, das Asyl für die Armen der Gemeinde, für die zunächst im quadratischen Turm und später im Hauptgebäude mehrere Wohnungen eingerichtet wurden. Sie blieben dort bis etwa 1916. Das Landgericht zog 1825 in das Schloss ein und blieb dort bis 1964.
Im Jahr 1900 wurde das Schloss als historisches Denkmal des Kantons Waadt eingetragen. Im Jahr 1909 führte Otto Schmid, Architekt des Schlosses Chillon, eine vollständige Vermessung durch. Die Stadtverwaltung von Aigle war sich des historischen Wertes des Gebäudes bewusst und begann in den 1920er Jahren mit der Überlegung, es in ein Museum umzuwandeln. Doch erst 1943 entwarf der Architekt Schmid ein allgemeines Restaurierungsprojekt, das jedoch nicht ausgeführt wurde.
Nach dem Auszug der Gefängnisse im Jahr 1972 wurde das Schloss im Rahmen einer umfassenden Restaurierungs- und Umgestaltungsaktion zu einem Ort der Kultur und Geselligkeit.
Mitte der 1990er Jahre wurde die Scheune des Schlosses restauriert und in das Zehntenhaus umgewandelt. Seit 1996 beherbergt es das Restaurant La Pinte du Paradis und einen Empfangssaal.
Zu Beginn des 21. Jahrhunderts wurde eine neue Kampagne zur Instandhaltung und Restaurierung des Schlosses durchgeführt. Im Jahr 2010 wird das neue Rebbau-, Wein- und Weinetikettenmuseum eingeweiht und zeigt eine große Dauerausstellung.
