Permutationstest: Was darf vertauscht werden?

1. Die Vertauschungsregel aus der Frage ableiten

Du möchtest prüfen, ob sich zwei Gruppen in einer festgelegten Größe unterscheiden. Ein Permutationstest vergleicht die beobachtete Prüfgröße mit Werten aus zulässigen Neuordnungen unter der Nullhypothese. Er ist damit etwas anderes als ein Bootstrap, der etwa die Unsicherheit einer Schätzung durch erneutes Ziehen untersucht. Schreibe zuerst den konkreten Vergleich, die Prüfgröße und ihre Richtung auf. Ein Mittelwertunterschied und eine Korrelation verlangen nicht dieselbe Neuordnung. Der Name Resampling allein begründet keinen statistischen Test und keine automatisch geeignete Datenbehandlung.

SciPy unterscheidet für seine Funktion unabhängige Stichproben, Vertauschungen innerhalb verbundener Messungen und neue Paarzuordnungen für Zusammenhangsfragen. Beim einfachen unabhängigen Ansatz werden Beobachtungen unter einer entsprechenden Nullhypothese neu Gruppen zugeordnet. Gleiche Mittelwerte allein garantieren diese Austauschbarkeit nicht. Abhängige Messungen, Zeitverläufe und Cluster erfordern eine begründete eingeschränkte Regel oder ein anderes Verfahren. Zeichne deshalb deine Untersuchungseinheiten und markiere, welche Beziehungen erhalten bleiben müssen. Bei Unsicherheit klärst du die Regel fachlich, bevor ein schneller Rechenlauf vermeintliche Sicherheit erzeugt.

Weiterführend: SciPy: permutation_test, Nullhypothesen und verschiedene Vertauschungstypen

2. Einen kleinen eigenen Fall vollständig auszählen

Unser vollständig fiktiver Lernfall enthält die vier Werte 1, 2, 4 und 7. Die Gruppen umfassen jeweils zwei Werte. Für A gleich 1 und 2 sowie B gleich 4 und 7 beträgt die Prüfgröße Mittelwert A minus Mittelwert B genau −4. Angenommen, die einfache Gruppenneuzuordnung wäre unter der Nullhypothese zulässig: Dann gibt es sechs verschiedene Möglichkeiten, zwei der vier Werte A zuzuweisen. Die verbleibenden Werte gehören jeweils B. Die Reihenfolge innerhalb einer Gruppe wird hier nicht als neue Zuweisung gezählt.

Für A gleich 1 und 2, 1 und 4, 1 und 7, 2 und 4, 2 und 7 sowie 4 und 7 entstehen die Differenzen −4, −2, 1, −1, 2 und 4. Wir definieren für diese Übung ausdrücklich einen beidseitigen Vergleich über den Betrag der Differenz. Zwei der sechs Zuweisungen erreichen mindestens den beobachteten Betrag vier; der reine Zählanteil beträgt ein Drittel. Diese selbst ausgezählte Miniatur ist kein Studienbefund. Sie bestätigt insbesondere nicht, dass echte Daten die hier nur angenommene Austauschbarkeit erfüllen.

3. Vollständiges Auszählen und Simulation auseinanderhalten

Bei größeren Daten wächst die Zahl möglicher Zuweisungen schnell. Eine zufällige Auswahl von Vertauschungen ist dann keine vollständige Aufzählung. Halte fest, welcher Weg tatsächlich verwendet wurde, wie viele Wiederholungen vorlagen und wie die Zufallsfolge reproduzierbar gemacht wurde. Mehr Vertauschungen erzeugen keine zusätzlichen beobachteten Personen und heilen keine ungeeignete Nullhypothese. Prüfe zuerst die Zulässigkeit der Neuordnung, dann den Rechenumfang. Ein reproduzierbarer Fehler bleibt ein Fehler, auch wenn derselbe Zufallsstart jedes Mal dieselbe Zahl liefert.

Phipson und Smyth untersuchen in ihrer Originalarbeit die Berechnung von Permutations-p-Werten bei zufällig gezogenen Vertauschungen. Insbesondere ist kein extremerer simulierter Wert kein Beleg für eine Nullwahrscheinlichkeit. Die geöffneten SciPy-Hinweise verwenden beim randomisierten Test eine entsprechende Anpassung von Zähler und Nenner; außerdem sind Definitionen beidseitiger p-Werte nicht überall identisch. Übernimm deshalb nicht blind einen selbst berechneten Anteil als fertigen Software-p-Wert. Dokumentiere Vergleichsrichtung, Gleichstände und die konkrete Berechnung. Unser vollständiges Sechserbeispiel ist getrennt von einem solchen zufälligen Simulationslauf zu betrachten.

Weiterführend: Phipson und Smyth: Permutation p-values should never be zero, Originalarbeit

4. Eine überprüfbare Testskizze fertigstellen

Deine eigene Testskizze enthält sechs Felder: Untersuchungseinheit, Nullhypothese, Prüfgröße, zulässige Neuordnung, Berechnungsweg und Aussagegrenze. Ergänze für jede Position einen kurzen Kontrollfall. Bei verbundenen Messungen muss beispielsweise sichtbar bleiben, welche Werte zusammengehören. Werden mehrere Merkmale derselben Einheit gemeinsam untersucht, darf eine Vertauschung benötigte Beziehungen nicht versehentlich zerstören. Prüfe deine Implementierung zuerst an einem kleinen vollständig überschaubaren Datensatz. Die Zuweisungsliste des Lernfalls kann einen Rechenfehler aufdecken, ersetzt aber keine Prüfung eines anderen Designs.

Im Abschlusswerk-Statistik-Testfinder beschreibst du Frage, Variablen und Abhängigkeiten ohne identifizierende Rohdaten. Gleiche Vorschläge mit der Testskizze ab. Die Verfahrensplanung berechnet keine Rohdaten, führt keine Permutationen aus und validiert keinen eigenen Simulationscode. Berechne und prüfe den echten Test separat mit geeigneter Software. Berichte anschließend den beobachteten Unterschied und seine fachliche Bedeutung zusammen mit dem tatsächlichen Testweg. Ein kleiner p-Wert beweist weder eine große Wirkung noch ihre Ursache. Hochschulvorgaben und statistische Fachprüfung bleiben für die konkrete Analyse maßgeblich.