Fragebogen: Reihenfolgeeffekte gezielt prüfen

1. Den möglichen Kontexteffekt konkret benennen

Zwei Fragebögen enthalten dieselben Sätze und liefern trotzdem unterschiedliche Antworten. Eine mögliche Ursache liegt in der Reihenfolge: Frühere Fragen können bestimmte Gedanken verfügbar machen, an denen sich eine spätere Antwort orientiert. Pew Research Center erläutert solche Kontexteffekte und unterscheidet sie von Änderungen am Wortlaut. Prüfe deshalb nicht nur jedes einzelne Item. Notiere auch, welche Frage unmittelbar davorsteht, welcher Themenblock bereits bearbeitet wurde und ob eine offene Antwort schon durch vorgegebene Beispiele angeregt worden sein könnte.

Beginne mit einer eigenen Kontextkarte statt mit einer pauschalen Mischfunktion. Sie enthält die Zielinformation einer Frage, ihren Vorgänger und einen begründeten Verdacht. Unser fiktiver Lernfall fragt nach der allgemeinen Zufriedenheit mit einem Lernangebot und nach konkreten technischen Schwierigkeiten. Steht zuerst eine ausführliche Problemliste, kann sie die anschließende Gesamtbewertung anders rahmen. Das ist eine zu prüfende Möglichkeit, kein hier beobachteter Effekt. Eine plausible Erklärung allein zeigt weder Richtung noch Größe eines tatsächlichen Unterschieds.

Weiterführend: Pew Research Center: Writing Survey Questions, Fragenkontext und Reihenfolge

2. Feste Abhängigkeiten vor einer Variation sichern

Markiere zuerst unverzichtbare Abhängigkeiten. Eine Rückfrage zu einer vorherigen Antwort muss verständlich bleiben; ein Filter darf seine Folgefrage nicht verlieren. Auch Hinweise auf einen gemeinsamen Zeitraum oder einen zuvor beschriebenen Fall können eine feste Folge erfordern. Die britische Government Analysis Function empfiehlt eine nachvollziehbare Themenfolge und die Prüfung zusammengehöriger Fragen im Kontext. Diese methodische Orientierung ist keine starre Hochschulvorschrift. Bei übernommenen Instrumenten haben deren dokumentierte Durchführung und die begründeten Vorgaben deines Projekts Vorrang.

Unterscheide außerdem Frageblöcke von Antwortkategorien. Die Reihenfolge unabhängiger Themen lässt sich unter Umständen variieren, während eine geordnete Zustimmungsskala ihre erkennbare Ordnung braucht. Sonstige oder keine passende Antwort können ebenfalls eine bewusst feste Position benötigen. Schreibe für jeden Bestandteil auf: bleibt fest, wird als Block bewegt oder kann innerhalb einer definierten Gruppe variieren. Begründe die Entscheidung. So entsteht ein überprüfbarer Strukturplan, der auch einer anderen Person erklärt, welche Varianten zulässig sind und welche den Sinn verändern würden.

Weiterführend: Government Analysis Function: Questionnaire design guidance, Ablauf und Kontextprüfung

3. Zwei eigene Versionen kontrolliert vergleichen

Für den Lernfall entwirfst du Version A mit Gesamtbewertung vor Problemliste und Version B mit umgekehrter Folge. Wortlaut, Skala, Einleitung und sonstiger Ablauf bleiben gleich. Vergib eindeutige Versionskennungen und notiere, wie Personen einer Fassung zugeordnet werden sollen. Eine zufällige Zuteilung ist eine Designentscheidung; sie garantiert in einer kleinen Stichprobe keine exakt gleich großen oder gleich zusammengesetzten Gruppen. Unterschiedliche Verteilungswege, etwa zwei verschiedene Lehrveranstaltungen, wären dagegen mögliche zusätzliche Unterschiede neben der Reihenfolge.

Lege vor dem Vergleich fest, welches Item ausgewertet wird und welche weiteren Beobachtungen wichtig sind: Verständnis, Bearbeitungsdauer oder Abbrüche können andere Fragen beantworten als eine veränderte Gesamtbewertung. Eine Tabelle mit Version, zulässigem Pfad, tatsächlicher Darstellung und protokolliertem Problem genügt zunächst für die technische Gegenprobe. Prüfe außerdem, ob beide Fassungen dieselben Hilfetexte, Pflichtfelder und Fehlermeldungen zeigen. Auch diese Unterschiede könnten Antworten beeinflussen. Kleine qualitative Probeläufe können Schwierigkeiten entdecken, aber keinen belastbaren Populationsunterschied beziffern. Eine statistische Prüfung verlangt einen passenden Analyseplan, ausreichende Datengrundlage und eine zum Design passende Auswertung mit ehrlichen Unsicherheitsangaben.

4. Die tatsächlich eingesetzte Reihenfolge dokumentieren

Bewahre beide Entwurfsfassungen, den Zuordnungsplan und die endgültig verwendete Version auf. Prüfe die Darstellung am vorgesehenen Gerät und sämtliche Filterpfade. Im Methodenteil beschreibst du den realen Ablauf einschließlich Änderungen während eines Piloten. Bei wiederholten Erhebungen gehört auch der Kontextvergleich dazu: Ein gleich gebliebenes Item ist nicht automatisch vergleichbar, wenn davor inzwischen ein anderer Themenblock steht. Ein bloßer Satz wie Reihenfolge randomisiert erklärt weder den bewegten Bestandteil noch die tatsächliche Umsetzung oder die verbleibenden Grenzen.

Der Abschlusswerk-Fragebogen-Generator kann aus Thema, Forschungsfrage, Zielgruppe und optionalen Hypothesen einen prüfbaren Entwurf vorbereiten. Verwende diesen als Ausgangsmaterial für deine Kontextkarte. Kontrolliere Blöcke und Antwortformate selbst und teste die fertige Fassung im tatsächlich verwendeten Erhebungssystem. Der Generator führt keine Befragung durch, teilt keine Teilnehmenden deinen Versionen zu und weist keinen Reihenfolgeeffekt nach. Ein sinnvoller Abschluss dieses Arbeitsschritts ist ein versionierter Strukturplan mit geprüften Abhängigkeiten, dokumentiertem Vergleichsziel und einer nachvollziehbaren Entscheidung für die Haupterhebung.