Mehrere statistische Tests: die Fehlerkontrolle vorab planen

1. Warum mehrere Tests eine andere Frage aufwerfen

Du vergleichst Gruppen bei drei Zielgrößen und berichtest für jeden Test einen p-Wert. Eine einzelne Entscheidungsschwelle beantwortet noch nicht, wie du Fehler über diese zusammengehörigen Entscheidungen hinweg kontrollierst. Das Problem wird besonders sichtbar, wenn du aus einer großen Ergebnisliste nur die auffälligen Werte auswählst. Lege daher vor der Ergebnisinterpretation fest, welche Hypothesen zusammengehören und welche Aussagen du mit ihnen prüfen möchtest. Die Anzahl der Tabellen im Bericht definiert diese Gruppe nicht automatisch.

Eine eigene Modellrechnung illustriert den Unterschied: Wenn bei drei unabhängigen Tests alle Nullhypothesen wahr sind und jeder Test eine Fehlerwahrscheinlichkeit von 0,05 hat, beträgt die Wahrscheinlichkeit mindestens eines falschen positiven Ergebnisses 1 − 0,95³, also rund 14,3 Prozent. Diese Zahl setzt ausdrücklich Unabhängigkeit und wahre Nullhypothesen voraus. Sie ist weder eine allgemeine Fehlerrate jeder Studie mit drei Tests noch die Wahrscheinlichkeit, dass ein bestimmter beobachteter Befund falsch ist.

2. Die Testfamilie aus dem Erkenntnisziel begründen

Schreibe vorab eine Liste der geplanten Hypothesen, Zielgrößen und Vergleiche. Notiere daneben, welche gemeinsame Schlussfolgerung daraus entstehen soll. Drei Gruppenvergleiche zu derselben Hauptfrage können zusammengehören, auch wenn sie in unterschiedlichen Kapiteln erscheinen. Explorative Zusatzanalysen sollten als solche erkennbar sein. Teile eine Ergebnisliste nicht nachträglich in immer kleinere Familien, nur damit ein auffälliger Wert eine weniger strenge Kontrolle erhält. Eine solche Entscheidung müsste fachlich unabhängig vom Resultat begründbar sein.

Für ein fiktives Lernbeispiel planst du Gruppenvergleiche bei Bearbeitungszeit, Fehlerzahl und Zufriedenheit. Entscheide vorab, ob eine bestimmte Zielgröße die Hauptfrage trägt oder ob alle drei gemeinsam für eine übergreifende Aussage verwendet werden. Dokumentiere außerdem, wie du ungeplante weitere Analysen behandeln willst. Das bedeutet nicht, interessante Muster ignorieren zu müssen. Es bedeutet, bestätigende Prüfungen von nachträglich entstandenen Suchfragen zu unterscheiden und diese Unterscheidung im späteren Bericht beizubehalten.

3. Unterschiedliche Fehlerziele auseinanderhalten

Die offizielle R-Dokumentation zu p.adjust unterscheidet Verfahren zur Kontrolle der familienweisen Fehlerwahrscheinlichkeit von Verfahren zur Kontrolle der False Discovery Rate. Die FDR betrifft den erwarteten Anteil falscher Entdeckungen unter den verworfenen Hypothesen. Sie ist nicht die Wahrscheinlichkeit, dass jede einzelne Entdeckung falsch ist. Die Dokumentation nennt unter anderem Holm für Familienfehlerkontrolle und BH beziehungsweise BY für FDR, mit unterschiedlichen Voraussetzungen zur Abhängigkeit der Tests.

Wähle deshalb nicht einfach den Methodennamen, der die meisten auffälligen Resultate übrig lässt. Kläre, welche Art Fehler für dein Erkenntnisziel kontrolliert werden soll und welche Voraussetzungen gelten. Für einen kleinen, bestätigenden Analyseplan ist das eine andere Entscheidung als für eine ausdrücklich explorative Suche über viele Zielgrößen. Besprich die Wahl bei Unsicherheit mit statistischer Betreuung. Ein Toolvorschlag oder ein Standardwert in einer Software ersetzt die fachliche Begründung und dokumentierte Planung nicht.

Weiterführend: R Core: Adjust P-values for Multiple Comparisons

4. Eine Bonferroni-Rechnung richtig lesen

Der NIST-Leitfaden erläutert das Bonferroni-Prinzip für vorab ausgewählte Mehrfachvergleiche und gemeinsame Konfidenzaussagen. Für drei Tests und ein gemeinsames Niveau von 0,05 lässt sich als einfache Prüfregel jede einzelne Schwelle auf 0,05 / 3, also ungefähr 0,0167, setzen. Alternativ werden die p-Werte mit drei multipliziert und höchstens auf eins begrenzt. Du verwendest dann die angepassten Werte mit der gemeinsamen Schwelle; du verschärfst nicht zusätzlich nochmals dieselbe Korrektur.

Im eigenen fiktiven Beispiel lauten die ursprünglichen p-Werte 0,010, 0,030 und 0,200. Bonferroni ergibt 0,030, 0,090 und 0,600. Bei einer gemeinsamen Schwelle von 0,05 fällt nur der erste Wert darunter. Diese Zahlen sind frei erfunden und zeigen ausschließlich die Rechnung, keine Wirkung einer Maßnahme. Bonferroni benötigt für seine Fehlergrenze nicht die Unabhängigkeitsannahme der einleitenden Modellrechnung. Für die konkrete Verfahrenswahl können andere Ansätze geeigneter sein; das Beispiel ist keine pauschale Empfehlung.

Weiterführend: NIST/SEMATECH: Bonferroni’s Method

5. Ergebnisse samt Analyseplan berichten

Nenne die Testfamilie, ihre Größe, das gewählte Verfahren und das vorab festgelegte Fehlerziel. Kennzeichne, ob ein ausgegebener p-Wert ursprünglich oder angepasst ist. Berichte außerdem relevante Effektschätzungen und ihre Unsicherheit nach dem passenden Analyseplan. Ein Wert über der Entscheidungsschwelle beweist weder Gleichheit noch Bedeutungslosigkeit. Wenn du gemeinsame Konfidenzaussagen beanspruchst, müssen auch die verwendeten Intervalle zu diesem Anspruch passen; gewöhnliche Einzelintervalle erhalten diese Eigenschaft nicht durch eine korrigierte p-Wert-Spalte.

Der Abschlusswerk-Statistikassistent kann dich beim Strukturieren der methodischen Fragen unterstützen. Kontrolliere die tatsächliche Rechnung weiterhin in deiner Statistiksoftware und bewahre den Analysecode auf. Stelle am Ende nicht nur die auffälligen Tests dar, wenn dadurch die geplante Familie unsichtbar wird. Ein nachvollziehbarer Bericht erklärt, welche Prüfungen vorgesehen waren, welche zusätzlich entstanden und wie weit die resultierenden Aussagen reichen. Damit wird die Fehlerkontrolle Teil der Methodik statt einer nachträglichen Kosmetik am Ergebnis.