Heute kam es zwischen 12:20 - 12:45 Uhr CET zu einem Komplett-Ausfall unserer Netzwerk-Infrastruktur. Ursache war menschliches Versagen beim Testing im Anschluss an die Erneuerung unserer Netzwerk-Infrastruktur im Datacenter von letztem Mittwoch (vgl. 2023-02-01: Wartung Netzwerkinfrastruktur Datacenter).

Wir haben heute ab 11 Uhr sämtliche Notfalls-Szenarien durchgespielt, um die «High Availability» unserer neuen Firewall Appliances und stacked Switches ausführlich zu testen. Dabei gingen wir jedoch etwas zu weit und führten einen Test durch, der uns im Anschluss komplett den Zugang zu den Firewalls verwehrt hat. Das Problem lies sich leider nicht remote lösen, da wir damit auch sämtliche Notfalls-Zugänge ausgehebelt hatten. Wir mussten sogleich vor Ort gehen ins Datacenter, wo das Problem um 12:45 Uhr behoben werden konnte. Seither laufen sämtliche Dienste wieder normal.

Wir bitten um Verständnis.