Self-Healing-Infrastruktur: Auto-Remediation richtig aufsetzen

„Self-Healing" ist eines dieser Wörter, die auf Folien besser aussehen als in der Nacht um drei. Der Kern ist aber unspektakulär und solide: Ein System erkennt einen bekannten Fehlerzustand und führt eine vorher definierte, sichere Gegenmaßnahme aus – ohne dass ein Mensch geweckt werden muss.

Der Unterschied zwischen einer eleganten Auto-Remediation und einem Amoklauf liegt nicht in der Technik, sondern in den Grenzen, die man ihr setzt.

Die drei Ebenen der Selbstheilung

1. 1Erkennen – ein präzises Signal, das den Fehlerzustand eindeutig beschreibt (nicht „irgendwas ist langsam").
2. 2Entscheiden – eine Regel oder ein Modell, das diesen Zustand einer bekannten Ursache und Gegenmaßnahme zuordnet.
3. 3Handeln – eine idempotente, reversible Aktion mit hartem Limit und vollständigem Protokoll.

Fang mit dem Reversiblen an

Die ersten Kandidaten für Automatisierung sind Aktionen, die im schlimmsten Fall wenig kaputt machen: einen hängenden Pod neu starten, eine volle Warteschlange abarbeiten, einen Node aus dem Load Balancer nehmen. Unumkehrbare Aktionen – Daten löschen, Ressourcen terminieren, ein Rollback über eine Migration hinweg – bleiben zunächst beim Menschen.

# Beispiel: eine Remediation-Regel mit klaren Leitplanken
remediation:
  trigger: pod_crashloop > 3 in 5m
  action: restart_pod
  max_attempts: 2          # danach eskalieren, nicht endlos versuchen
  cooldown: 10m
  requires_approval: false # reversibel -> darf autonom laufen
  audit: always

Kill-Switch und Audit-Log sind nicht optional

Jede Automatisierung, die in die Produktion eingreift, braucht zwei Dinge, bevor sie live geht: einen Kill-Switch, mit dem ein Mensch die gesamte Remediation in Sekunden global abschalten kann, und ein Audit-Log, das jede Aktion mit Zeitstempel, Auslöser und Ergebnis festhält. Ohne das erste verlierst du im Ernstfall die Kontrolle, ohne das zweite das Vertrauen.

Automatisiere niemals einen Prozess, den du nicht auch von Hand sicher und ruhig durchführen könntest.

Wenn diese Grundlagen stehen, verschiebt sich die Rolle des Teams: weg vom reflexhaften Wegklicken immer gleicher Alerts, hin zum Verbessern der Regeln und zum Lösen der wirklich neuen Probleme. Genau das ist der Punkt – Selbstheilung ersetzt keine Menschen, sie gibt ihnen die langweilige Nachtarbeit ab.