Nicht Erreichbarkeit einiger Projekte nach Wartung

Bis auf wenige Einzelfälle sind wieder alle Projekte erreichbar. Diese Einzelfälle werden derzeit von unseren Technikern individuell bearbeitet. Morgen werden wir in einem Post Mortem detailliert auf die Ursachen der Störung eingehen. Wir bedanken uns noch einmal für das uns entgegengebrachte Verständnis und Vertrauen!

Die meisten Projekte sind wieder online. Wir verzeichnen weiterhin positive Fortschritte bei der Wiederherstellung unserer Dienste.

Ein Großteil der Projekte ist bereits wieder erreichbar.
Wir bitten jedoch noch um etwas Geduld, während wir die verbleibenden Anpassungen vornehmen, um sicherzustellen, dass alle Dienste reibungslos funktionieren.

Wir konnten den Vorgang deutlich beschleunigen, so dass wir aktuell davon ausgehen, dass in ca. einer Stunde auch die letzten Projekte wieder erreichbar sind.

Unsere Systeme erholen sich zunehmend. Immer mehr Projekte gehen online und wir beobachten eine stetige Verbesserung der Gesamtsituation. Die Maßnahmen, die wir ergriffen haben, zeigen positive Ergebnisse. Unsere Techniker arbeiten daran, den Prozess zu beschleunigen, um die volle Funktionalität für alle Projekte so schnell wie möglich wiederherzustellen.

Wir freuen uns, mitteilen zu können, dass sich die Konnektivitätsprobleme langsam auflösen. Einzelne Webseiten sind bereits wieder erreichbar, und wir arbeiten kontinuierlich daran, die volle Erreichbarkeit für alle Projekte wiederherzustellen.

Wir machen weitere Fortschritte. Wir gehen davon aus, im Zuge des nächsten Updates eine konkrete zeitliche Einschätzung nennen zu können.

Wir kommen der Lösung weiterhin näher. Aktuell beobachten wir Unstimmigkeiten im Scheduling einzelner relevanter Nodes, die wir als Ursache für die Konnektivitätsprobleme identifiziert haben. Wir arbeiten daran, dieses Problem zu lösen.

Wir machen Fortschritte. Auch wenn wir noch keine konkrete zeitliche Einschätzung zur Entstörung nennen können, kommen unsere Techniker einer Lösung schrittweise näher. Wir bitten noch um etwas Geduld und teilen hier regelmäßig neue Erkenntnisse.

Aktuell sind wir dabei das Routing zwischen den Cluster-Knoten wieder herzustellen.

Nachdem die Latenzen weiterhin stabilisiert sind, ist unser nächster Schritt, die netzwerkseitige Konnektiviät wieder herzustellen. Dieser Schritt ist komplex und erfordert noch etwas Zeit.

Der Hardwaretausch hat zu einer Normalisierung der Latenzen geführt, Wir arbeiten weiterhin daran, die durchgängige netzwerkseitige Konnektivität wieder herzustellen.

Ein nächstes Update, in dem wir euch ein bisschen Hintergrund geben: Die cluster-interne netzwerkseitige Kommunikation ist aktuell stark eingeschränkt. Dies führt zu hohen Latenzen und zur Nicht-Erreichbarkeit der betroffenen Projekte. Wir haben präventiv bereits Hardwarekomponenten im entsprechenden Cluster ausgetauscht und analysieren das Problem weiterhin auf Layer-3-Ebene. Wir halten euch weiterhin darüber auf dem Laufenden.

Wie versprochen, hier das nächste Update. Leider können wir weiterhin nichts Neues sagen. Wir haben das Problem identifiziert und unsere Kollegen der Infrastruktur arbeiten weiterhin daran, zu entstören. Wir wissen, dass wir eure Geduld heute enorm strapazieren. Das tut uns leid und wir setzen alles daran, eure Projekte wieder verfügbar zu machen.

Zum jetzigen Zeitpunkt liegt uns noch kein neuer Status vor. Wir arbeiten weiterhin mit Hochdruck an der Entstörung. Wir halten euch regelmäßig auf dem Laufenden.

Wir haben das Problem auf einen Fehler im cluster-internen Netzwerk eingegrenzt und arbeiten an der Lösung. 
Zudem entsteht natürlich im Nachgang ein post mortem.

Die Entstörungs-Arbeiten dauern weiter an. Noch können wir inhaltlich kein weiteres Update geben.

Update 10:10 Uhr

Die Arbeiten dauern an.

Wir haben den Fehler weiter eingegrenzt. Unsere Systeme sind bis auf ein Cloud-Hosting Cluster erreichbar.

Die Erreichbarkeit der Application-Pods in diesem Cluster ist gerade nicht gegeben. Daher sind die dort gehostet Projekte von außen weiterhin nicht erreichbar.

Aufgrund der Wartung in der vergangenen Nacht, sind in Teilen unserer Cloud Infrastruktur noch Nacharbeiten erforderlich. Einige Projekte sind daher aktuell noch nicht erreichbar. Wir arbeiten mit Hochdruck daran, die Projekte wieder zur Verfügung zu stellen.