Heute Morgen um 03:55 Uhr kam es zu einem Komplett-Ausfall unseres Webservers. Erste Problemlösungsversuche wurden ab 04:30 Uhr von unserem zuständigen Techniker eingeleitet.

Es handelte sich um einen schwerwiegenden lockup unserer Server-Replizierung mittels ZREP, basierend auf zfs send|receive. Erst mit Hilfe eines weiteren Technikers konnten wir das Problem heute früh ab 09:30 Uhr eingrenzen und lösen. Seit 09:50 Uhr laufen sämtliche Dienste wieder und es kam zu keinen weiteren Ausfällen.

Wir haben bereits die ersten Schritte eingeleitet, damit es in Zukunft nicht mehr zu einer solchen Störung kommt. Es folgend weitere Analysen und Gegenmassnahmen.