Fragebogen-Pretest: prüfen, wie Personen eine Frage tatsächlich beantworten

1. Festlegen, welche Antwortprobleme du prüfen willst

Ein Probelauf zeigt dir vielleicht, ob ein Formular lädt. Er beantwortet noch nicht, wie Menschen seine Fragen verstehen. Die CDC beschreibt Cognitive Interviewing als qualitative Untersuchung der gedanklichen Prozesse beim Beantworten. Sie unterscheidet Verständnis, Erinnerung, Urteilsbildung und Zuordnung zur Antwort. Plane deshalb nicht nur eine allgemeine Frage, ob alles klar war. Wähle konkrete Stellen, an denen du Unsicherheit erwartest: Zeiträume, Fachbegriffe, zusammengesetzte Fragen oder Antwortmöglichkeiten, die nicht zu allen Fällen passen.

Formuliere für jede ausgewählte Frage einen eigenen Prüfauftrag. Im fiktiven Beispiel lautet die Ausgangsfrage: Wie häufig nutzen Sie regelmäßig digitale Lernangebote? Zu prüfen sind hier unter anderem häufig, regelmäßig und die Bedeutung von Lernangebot. Notiere, welche Information du eigentlich messen möchtest, etwa Nutzungstage in einem definierten Zeitraum. Der Pretest soll nicht lediglich Zustimmung zu deiner Formulierung sammeln. Er soll sichtbar machen, ob die Frage die beabsichtigte Information bei der vorgesehenen Zielgruppe überhaupt zuverlässig ansprechen kann.

Weiterführend: CDC, National Center for Health Statistics: Cognitive Interviewing

2. Zielgruppe, Durchführung und Dokumentation vorbereiten

Wähle Personen, deren Erfahrungen für mögliche Antwortprobleme relevant sind. Die CDC erläutert eine gezielte Auswahl zur Problemsuche, nicht zur Schätzung von Häufigkeiten in einer Bevölkerung. Daraus folgt keine feste Pflichtzahl für jede Abschlussarbeit. Begründe deine Auswahl anhand des konkreten Fragebogens und stimme Aufwand sowie Vorgehen mit der Betreuung ab. Wenn nur gut informierte Mitstudierende testen, obwohl die spätere Zielgruppe andere Voraussetzungen hat, können wichtige Schwierigkeiten unsichtbar bleiben. Die leichte Erreichbarkeit allein ist keine vollständige Auswahlbegründung.

Bereite eine Version des Fragebogens, neutrale Nachfragen und ein einfaches Protokoll vor. Kläre den Umgang mit Aufzeichnungen und möglichen personenbezogenen Angaben nach den Vorgaben deiner Erhebung. Notiere Versionsnummer und Testdatum, damit Änderungen später zugeordnet werden können. Trenne technische Beobachtungen von inhaltlichen Problemen: Eine abgeschnittene Antwortoption ist ein anderes Problem als eine Option, die den beschriebenen Fall nicht abdeckt. Beide können wichtig sein, benötigen aber unterschiedliche Korrekturen und sollten im Protokoll nicht zu einer allgemeinen Unzufriedenheit zusammenfallen.

3. Neutral nach dem Antwortweg fragen

Lass die Person zunächst die Frage so beantworten, wie sie es im vorgesehenen Ablauf tun würde. Frage anschließend beispielsweise, was sie unter einem bestimmten Begriff verstanden hat, an welchen Zeitraum sie gedacht hat oder wie sie zwischen zwei Optionen entschieden hat. Gib nicht sofort deine eigene Definition vor. Sonst prüfst du, ob die Erklärung verständlich ist, statt ob die ursprüngliche Frage funktioniert. Ob Nachfragen währenddessen oder im Anschluss sinnvoll sind, hängt von deinem geplanten Vorgehen ab und sollte vor dem Test feststehen.

Ein eigener fiktiver Nachfragesatz lautet: An welche Angebote haben Sie bei Ihrer Antwort gedacht? Er ist offener als die Frage, ob auch Videos gemeint waren. Wenn eine Person eine Frage nicht beantworten kann, halte den Grund möglichst konkret fest. Fehlt die Erinnerung, fehlt eine passende Option oder wird die Information gar nicht erhoben? Notiere außerdem den ursprünglichen Wortlaut und die tatsächliche Antwort getrennt von deiner Deutung. Damit bleibt später überprüfbar, weshalb du ein Problem gesehen und eine Änderung vorgeschlagen hast.

4. Beobachtungen in begründete Änderungen übersetzen

Pew Research Center beschreibt Fragebogenentwicklung als iterativen Prozess mit Vorabtests und nennt klare, konkrete Fragen sowie nicht überlappende Antwortoptionen als wichtige Gesichtspunkte. Nutze deine Beobachtungen dafür, nicht bloß dein eigenes Sprachgefühl. Für das fiktive Lernangebot könnte eine Änderung den Zeitraum festlegen und den Gegenstand präzisieren. Die genaue neue Formulierung muss weiterhin zu deiner Operationalisierung passen. Eine kürzere Frage ist nicht automatisch besser, wenn sie den beabsichtigten Begriff verändert oder wichtige Fälle ausschließt.

Erstelle je Änderung einen Entscheidungsvermerk: beobachtetes Problem, mögliche Ursache, neue Fassung und erneuter Prüfbedarf. Wenn zwei Personen denselben Begriff unterschiedlich verwenden, musst du prüfen, ob das wirklich ein Fragefehler oder eine inhaltlich relevante Vielfalt ist. Fasse außerdem nicht verschiedene Konstrukte zu einer scheinbar bequemeren Frage zusammen. Bewahre alte Fassungen auf. Ein nachvollziehbarer Pretestbericht zeigt, welche Änderung weshalb erfolgt ist, statt lediglich zu behaupten, der Fragebogen sei erfolgreich getestet und deshalb insgesamt valide.

Weiterführend: Pew Research Center: Writing Survey Questions

5. Den Test mit Grenzen und verbleibenden Fragen berichten

Beschreibe in der Arbeit Auswahl, Ablauf, untersuchte Fragen, Dokumentation und wesentliche Änderungen. Benenne auch ungelöste Probleme und Einschränkungen des Tests. Aus wenigen gezielt ausgewählten Gesprächen lässt sich nicht ableiten, wie oft jede Schwierigkeit in der späteren Zielgruppe auftreten wird. Ein kognitiver Pretest ist zudem nicht automatisch ein Nachweis für jede psychometrische Eigenschaft eines Instruments. Ordne ihn als einen konkreten Entwicklungsschritt ein und trenne ihn von weiteren Prüfungen, die dein Design möglicherweise erfordert.

Der Abschlusswerk-Fragebogengenerator kann Entwürfe für Fragen und Antwortmöglichkeiten vorbereiten. Ob Menschen sie tatsächlich wie beabsichtigt verstehen, musst du im passenden Test prüfen. Vergleiche jede Änderung mit Forschungsfrage und Operationalisierung und nutze keine automatische Ausgabe als Validierungsnachweis. Vor dem Start der Haupterhebung sollten die freigegebene Version und ihr Prüfstand eindeutig feststehen. Damit kannst du später erklären, was getestet wurde, welche Fassung eingesetzt war und weshalb eine bestimmte Formulierung in die endgültige Erhebung übernommen wurde.