Vignettenstudien planen: Vergleichbare Szenarien statt beliebiger Geschichten

1. Die Urteilsfrage und variierte Merkmale festlegen

Vignetten beschreiben hypothetische Situationen, zu denen Personen ein Urteil abgeben. In einem faktoriellen Survey werden ausgewählte Merkmale systematisch variiert. Lege zuerst fest, welches Urteil du untersuchen möchtest und welche Merkmale nach deiner Theorie relevant sind. Auspurg, Hinz und Liebig untersuchen in ihrer Originalpublikation unter anderem Komplexität und Plausibilität solcher Szenarien. Daraus folgt keine universelle optimale Textlänge oder Merkmalszahl für dein Projekt. Notiere stattdessen jede Dimension, ihre Ausprägungen, theoretische Begründung und geplante Verwendung. Ein anschauliches Szenario allein ist noch kein begründetes Untersuchungsdesign.

Unser erfundener Lernfall betrifft die Bewertung eines Rückmeldungsangebots. Denkbare Dimensionen wären Zeitpunkt und Detailgrad der Rückmeldung; konstant bleiben könnte die beschriebene Aufgabe. Halte diese Entscheidungen in einer eigenen Designtabelle fest. Wenn du gleichzeitig freundlichen Ton, ausführlichen Inhalt und eine andere Lehrperson veränderst, lässt sich ein Urteilsunterschied nicht eindeutig einem Merkmal zuordnen. Prüfe daher, welche sprachlichen Details unbeabsichtigt mitvariieren. Verwende neutrale, vergleichbare Formulierungen und kontrolliere, ob sie dieselbe Bedeutung tragen. Ein lebendiger Erzählstil ist hier weniger wichtig als die kontrollierbare Unterscheidung deiner theoretisch relevanten Bedingungen.

Weiterführend: Auspurg, Hinz und Liebig (2009): Complexity, learning effects and plausibility of vignettes, Original-PDF

2. Kombinationen und Plausibilität gemeinsam prüfen

Liste die vorgesehenen Merkmalskombinationen auf und prüfe, ob sie im beschriebenen Kontext verständlich und möglich sind. Eine Kombination kann sprachlich korrekt und dennoch widersprüchlich sein. Unplausible Fälle werden nicht einfach nach Gefühl gelöscht: Dokumentiere den Grund und die Folgen für das Design. Wenn bestimmte Ausprägungen nur gemeinsam vorkommen dürfen, beeinflusst das die untersuchbaren Unterschiede. Die erwähnte Originalstudie zeigt, dass Komplexität und unplausible Fälle Urteile beeinflussen können. Übertrage jedoch keine dort gefundenen Effektgrößen oder Grenzwerte auf eine andere Population oder einen anderen Inhalt.

Teste die Entwürfe zunächst mit Personen, die die vorgesehene Leseperspektive nachvollziehen können. Bitte sie, den Fall in eigenen Worten wiederzugeben und zu erklären, welches Urteil die Antwortfrage verlangt. Notiere Missverständnisse, zusätzliche Annahmen und übersehene Merkmale. Unser eigenes Prüfblatt enthält Vignettenkennung, verstandene Situation, Auffälligkeit und Änderungsentscheidung. Eine erfreulich schnelle Bearbeitung ist nicht automatisch Beleg guten Verständnisses. Ändere problematische Formulierungen und teste die neue Fassung erneut. Bewahre Versionen auf, damit später klar ist, welche Texte im Pilot und welche in der tatsächlichen Untersuchung verwendet wurden.

3. Reihenfolge, Antwortformat und Datenstruktur planen

Entscheide, wie viele Szenarien jede Person erhält und nach welchem nachvollziehbaren Verfahren diese zugeteilt werden. Zufällige Reihenfolge, ausgewählte Sets und Wiederholungen sind Designentscheidungen, keine beliebigen Darstellungsoptionen. Sauer, Auspurg und Hinz untersuchen in einer Originalstudie Präsentationsformat, Antwortskala und Vignettenreihenfolge. Ihre Ergebnisse begründen, diese Merkmale ernst zu nehmen, nicht eine Garantie für jede andere Anwendung. Beschreibe dein Verfahren so, dass die tatsächliche Zuteilung überprüft werden kann. Bewahre die Vignettenkennung im Datenexport auf; ohne sie lassen sich Urteile möglicherweise nicht den vorgesehenen Bedingungen zuordnen.

Wenn dieselbe Person mehrere Szenarien bewertet, sind diese Bewertungen nicht ohne Weiteres unabhängige Beobachtungen. Plane mit qualifizierter Unterstützung eine Auswertung, die die wiederholte Struktur berücksichtigt. Unterscheide Zahl der Personen von Zahl der abgegebenen Urteile und berichte beide nachvollziehbar. Im Lernfall sind drei Bewertungen einer Person nicht drei verschiedene Teilnehmende. Prüfe auch Antwortoptionen, fehlende Angaben und mögliche Überforderung. Eine nicht abgegebene Bewertung darf nicht automatisch als mittlere Zustimmung codiert werden. Entscheide vor der Analyse, wie solche Fälle dokumentiert und unter dem gewählten Verfahren behandelt werden.

Weiterführend: Sauer, Auspurg und Hinz (2020): Designing multi-factorial survey experiments, Original-PDF

4. Designfassung und Aussagegrenzen festhalten

Erstelle vor der Durchführung ein kompaktes Designpaket: theoretische Urteilsfrage, Dimensionstabelle, verwendete Szenarien, Zuteilungsverfahren, Antwortformat und Auswertungsplan. Halte Pilotänderungen und ausgeschlossene Kombinationen begründet fest. Prüfe den Export mit einigen künstlichen Testantworten, die eindeutig als Testdaten getrennt bleiben. Kannst du Person, Szenario, Ausprägungen und Urteil korrekt zusammenführen? Ein funktionierendes Formular belegt noch keine geeignete Messung. Besprich zusätzlich, was aus hypothetischen Urteilen über tatsächliches Verhalten abgeleitet werden darf. Eine hohe Zustimmung zu einer beschriebenen Situation beweist nicht, dass dieselbe Handlung im Alltag erfolgt.

Das Tool Fragebogen erstellen kann einen Entwurf von Fragen und Antwortformaten unterstützen. Bereite Erkenntnisziel und eigene Dimensionstabelle vor; kennzeichne den Vignettenbedarf, soweit die vorhandenen Eingaben das zulassen. Prüfe den Entwurf manuell und implementiere Zuteilung sowie Vignettenkennungen im tatsächlichen Erhebungsinstrument. Das Tool konstruiert kein garantiert effizientes experimentelles Design und übernimmt keine Mehrebenenauswertung. Der fertige Arbeitsschritt ist ein pilotiertes, dokumentiertes Szenariopaket mit passendem Analyseplan. Er ist deutlich mehr als eine Sammlung überzeugend formulierter Geschichten, aber noch kein Nachweis externer Gültigkeit oder einer kausalen Wirkung außerhalb des Designs.