Incident abgeschlossen

Der Incident ist erfolgreich behoben. Die Verarbeitung läuft stabil, alle relevanten Kennzahlen befinden sich im grünen Bereich.

In den kommenden Tagen veröffentlichen wir ein ausführliches Post‑Mortem unter:
https://app.makosoftware.de/docs/blog

Vielen Dank für Ihre Geduld. Wir bleiben weiterhin im Monitoring und optimieren kontinuierlich.

Update: System stabil – Kennzahlen im grünen Bereich

Die aktuellen Leistungskennzahlen zeigen ein durchgehend stabiles Bild. Die Verarbeitung läuft planmäßig und ohne Auffälligkeiten.

Wir setzen das Monitoring fort und informieren proaktiv bei Veränderungen.

Update: Maßnahmen ausgerollt – System holt Rückstände auf

Die zuletzt identifizierten Optimierungsmaßnahmen wurden erfolgreich ausgerollt.
Wir sehen nun durchgängig deutliche Verbesserungen in der Verarbeitungsgeschwindigkeit. Die zuvor aufgelaufenen Jobs werden aktuell schrittweise aufgeholt.

Wir monitoren weiter und informieren, sobald der Rückstand vollständig abgearbeitet ist oder es neue Entwicklungen gibt.

Update: Weitere Verbesserungsbedarf identifiziert

Die Performance hat sich zwar verbessert, ist aber noch nicht auf dem gewünschten Niveau.
Wir haben mehrere Bereiche gefunden, in denen Abläufe aktuell noch nicht effizient genug gebündelt oder parallel verarbeitet werden. Diese Stellen führen weiterhin zu Verzögerungen.

Unser Team arbeitet bereits an weiteren Optimierungen, um die Verarbeitung zu beschleunigen und die Last zu reduzieren.
Wir monitoren das System kontinuierlich und informieren, sobald neue Maßnahmen ausgerollt werden.

Update: Verbesserungen zeigen Wirkung

Die zuletzt ausgerollten Optimierungen wirken sich positiv auf die Verarbeitung aus.
Die Durchlaufzeiten haben sich stabilisiert, und der Systemdruck ist deutlich zurückgegangen.

Wir beobachten das Verhalten weiterhin engmaschig und informieren bei neuen Entwicklungen.

Update: Weitere Optimierung wird ausgerollt

Durch Profiling haben wir ein weiteres Bottleneck in der Verarbeitung von EDIFACT‑Metadaten (Tags) identifiziert. Diese wurden bisher nicht effizient genug verarbeitet und haben zusätzliche Last verursacht.

Eine Optimierung wird jetzt ausgerollt und soll den Prozess weiter entlasten.
Wir monitoren das System während und nach dem Deployment.

Weitere Updates folgen.

Update: Neue Optimierung wird ausgerollt

Wir spielen gerade eine weitere Verbesserung im EDIFACT‑Versand aus.
Damit verhindern wir, dass bestimmte interne Metadaten mehrfach verarbeitet werden, was bisher zu zusätzlicher Last geführt hat.

Die Optimierung soll den Versandprozess entlasten und die Verarbeitung beschleunigen.
Nach dem Deployment beobachten wir das System weiter und prüfen, ob sich die Performance stabilisiert.

Weitere Updates folgen.

Update: Weitere Optimierung identifiziert – Deployment läuft in Kürze

Wir haben eine weitere Ursache gefunden, die zusätzlichen Druck auf das System verursacht hat:
Der JobRunr‑Health‑Check reagierte zu langsam für den Kubernetes‑Liveness‑Check, wodurch Job‑Pods teilweise zu früh terminiert wurden.

Eine Optimierung (separater periodischer Health‑Check mit konsistenter Bewertung über

jobsOk

Weitere Updates folgen nach dem Deployment und während des Monitorings.

Update: Fix deployed – Monitoring läuft

Der identifizierte Fix im EDIFACT‑Combiner wurde erfolgreich ausgerollt.
Wir beobachten nun die Verarbeitung und prüfen, ob sich die Durchlaufzeiten der Ausgangsnachrichten stabilisieren und der Druck auf die Systeme reduziert.

Weitere Updates folgen bei neuen Erkenntnissen.

Update: Problem identifiziert – Fix wird ausgerollt

Wir haben ein Problem im EDIFACT‑Combiner identifiziert, das möglicherweise zu den verlängerten Verarbeitungszeiten beiträgt.
Durch eine transiente Exception wurden

ediMessage

Ein Fix für dieses Verhalten wurde implementiert und wird aktuell ausgerollt.
Wir erwarten, dass dies zu einer Entlastung führen kann, untersuchen jedoch weiterhin weitere mögliche Ursachen.

Weitere Updates folgen, sobald sich die Verarbeitung stabilisiert oder neue Erkenntnisse vorliegen.

Impact
Ausgangsnachrichten (EDIFACT, Fahrplan, Redispatch) werden aktuell verzögert verarbeitet und versendet.

Current Symptoms
Erhöhte Durchlaufzeiten im Versandprozess; Queues bauen sich auf.

Suspected Cause
Seit gestern deutlich erhöhtes EDIFACT‑Volumen bei der Kombination Geschäftsvorfällen führt zu höherer Last in der Verarbeitung.

Next Steps

• Analyse der betroffenen Verarbeitungskette zur Identifikation des Engpasses
• Vergleich der Lastverteilung der letzten 24–48h
• Prüfung, ob Skalierungsmaßnahmen erforderlich sind
• Laufendes Monitoring