Deine Dashboards sind grün. Deine Kunden sagen, es ist kaputt.
Das ist das häufigste Fehlerbild, das mir in Enterprise-SaaS-Produkten begegnet, und die Ursache ist das, was gemessen wird.
Die meisten Observability-Stacks messen, was leicht zu messen ist: Server-Uptime, Antwortzeiten, Fehlerraten. Das beschreibt den Zustand der Infrastruktur. Über die Frage, ob das Produkt getan hat, wofür der Nutzer gekommen ist, sagt es nichts.
Ein Nutzer kann einen kaputten Ablauf erleben, während jede Metrik auf deinem Dashboard grün bleibt. Die API antwortet mit 200. Die Seite lädt in 400 ms. Die Fehlerrate liegt bei 0,01 %. Und der Nutzer hat auf „Absenden“ geklickt, drei Sekunden einen Spinner gesehen, eine Erfolgsmeldung bekommen, und seine Daten sind still verschwunden.
Ein neues Dashboard allein löst das nicht. Miss, ob die Aktion des Nutzers das beabsichtigte Ergebnis erzeugt hat: Ist die Bestellung angelegt, ist das Dokument gespeichert, ist der Ablauf abgeschlossen. Miss, wie lange es sich angefühlt hat: Time-to-Interactive bestimmt das Nutzererlebnis weit stärker als die Antwortzeit des Servers. Und achte auf Retries. Jeder Retry ist ein Nutzer, der dir sagt, dass dein System für ihn nicht funktioniert hat, so gesund es auch aussah.
Nimm deinen wichtigsten Nutzerablauf. Instrumentiere ihn Ende zu Ende aus Sicht des Nutzers, vom Klick bis zum bestätigten Ergebnis, und leg diese eine Linie auf denselben Bildschirm wie die Infrastrukturmetriken.
Du wirst schnell sehen, wie oft ein grünes Dashboard über einem Checkout lag, den niemand abschließen konnte.