Wheeler: Daten sind zufällig und beliebig

Ich lese gerade Understanding Variation, ein Buch von Donald J. Wheeler, Experte auf dem Gebiet der statistischen Prozesskontrolle. Wenn man sich irgendwann mal in Richtung CMMI Maturity Level 4 bewegen will, muss man sich mit dem Thema beschäftigen und Wheeler sei ein guter Einstieg, wie ich hörte.

Wheeler beginnt damit zu erklären, wie problematisch ein Vergleich von Daten sein kann. Vergleiche ich die Januar-Daten von irgendwas mit dem Vorjahr, könnte ich schließen, dass dieses Jahr schlechter läuft. Vergleiche ich die Februar-Daten mit dem Vorjahr, könnte man schon zu einem anderen Schluss kommen. So ein Vergleich ist einfach zu beschränkt, um eine Aussage machen zu können. Vergleiche dieser Art beruhen auf der Annahme, dass das letzte Jahr „normal“ war. Ist das so? Was heißt „normal“?

Das Problem in vielen Firmen ist, dass solche Vergleiche zuhauf in monatlichen Projektberichten und dergleichen verwendet werden, und Management trifft daraufhin Entscheidungen. Ooops!

Schön sind auch solche Zahlentapeten, die Controlling gerne präsentiert: diverse Zeilen mit irgendwelchen Werten und in den Spalten sind dann absolute und relative Werte, Durchschnittswerte und Abweichungen jeglicher Art dargestellt. Problem: auch diese Vergleiche sind beschränkt und können zu missverständlichen Interpretationen führen bzw. zu jeder möglichen Interpretation.

Was lernen wir? Jede Zahl muss in ihrem Kontext dargestellt werden. Daten ohne ihren Kontext machen keinen Sinn. Man benötigt den Hintergrund, um zu einer sinnvollen Interpretation einer Zahl kommen zu können.

Wheeler gibt noch einige anschauliche Beispiele und zitiert dann zwei Regeln für die Präsentation von Daten von Walter A. Shewart, den Vater der statistischen Prozesskontrolle.

Daten sollten immer so präsentiert werden, dass die Beweise erhalten bleiben für alle Vorhersagen, die aus den Daten gezogen werden könnten.

Wheeler schließt daraus, dass Diagramme immer durch Tabellen belegt werden sollten und umgekehrt eine Tabelle nie ohne ein erklärendes Diagramm dargestellt werden sollte.

Shewharts zweite Regel lautet:

Wann immer Durchschnittswert (average), Spannweite (range) oder Histogramm verwendet wird, um Daten zusammen zu fassen, darf dies den Leser nicht dazu verleiten, Maßnahmen zu ergreifen, die er nicht ergriff, wenn die Daten als Zeitreihe dargestellt wären.

Wheeler fasst die Erkenntnisse zusammen als sein erstes Prinzip zum Verständnis von Daten:

Losgelöst von ihrem Kontext haben Daten keinerlei Aussagekraft.
No data have meaning apart from their context.

Die Konsequenzen aus diesem ersten Prinzip sind:

• Traue keinem, der den Kontext für seine Daten nicht liefern kann oder will!
• Vergleiche einzelne Wertepaare nur im größeren Kontext!
• Verwende Diagramme zur Darstellung von Werten in ihrem Kontext!