Wer einen Wissenstest erstellen will, öffnet meist das Schulungsmaterial und sucht Sätze, aus denen sich eine Frage machen lässt. Heraus kommen Fragen nach Abkürzungen und Paragrafen. Sie lassen sich leicht abfragen und leicht auswerten. Ob jemand danach eine Reklamation richtig anlegt oder eine Maschine sicher rüstet, zeigen sie nicht. Ein guter Wissenstest beginnt deshalb an anderer Stelle: bei der Frage, was die Teilnehmenden nach der Schulung tun sollen.
Dieser Artikel zeigt, wie Sie vom Lernziel zur Frage kommen, wie eine gute Multiple-Choice-Frage gebaut ist und warum der Test selbst beim Lernen hilft. Wo der Wissenstest im Gesamtplan einer Schulung steht, beschreibt der Grundartikel Schulungskonzept erstellen. Wie Sie darüber hinaus messen, ob eine Schulung im Alltag wirkt, steht im Artikel Lernerfolg messen mit dem Kirkpatrick-Modell.
Was ein Wissenstest leisten soll
Ein Wissenstest nach einer Schulung hat zwei Aufgaben. Er zeigt Ihnen und den Teilnehmenden, ob das Wichtigste angekommen ist. Und er hilft beim Behalten, denn wer sich aktiv an etwas erinnert, festigt es. Henry Roediger und Jeffrey Karpicke haben 2006 gezeigt, dass Studierende einen Text eine Woche später deutlich besser wiedergaben, wenn sie ihn einmal gelesen und dann frei abgerufen hatten, als wenn sie ihn mehrfach gelesen hatten.
Beides gelingt nur, wenn die Fragen das Richtige treffen. Ein Test, der Nebensachen abfragt, lenkt die Aufmerksamkeit auf Nebensachen. Ein Test, der Fälle aus der Arbeit stellt, übt genau das, was später gebraucht wird.
Wissenstest erstellen in fünf Schritten
1. Beim Lernziel anfangen. Jede Frage gehört zu einem Lernziel. Steht im Konzept „legt eine Teilgutschrift im System an“, dann prüft die Frage genau diese Handlung und nicht die Geschichte des Systems. Ist ein Lernziel noch zu ungenau, hilft der Artikel Lernziele formulieren.
2. Eine Situation statt einer Definition. Fragen Sie nicht „Was ist eine Teilgutschrift?“, sondern beschreiben Sie in zwei Sätzen einen Fall: Ein Kunde schickt drei von zehn Kartons zurück. Was tun Sie zuerst? So prüft die Frage, ob jemand das Wissen anwendet.
3. Die richtige Antwort eindeutig machen. Lassen Sie die Frage von jemandem lesen, der die Arbeit gut beherrscht. Gibt es Streit, welche Antwort stimmt, ist die Frage noch nicht fertig.
4. Ablenker aus echten Fehlern bauen. Die falschen Antworten sind der schwerste Teil. Am besten taugen Fehler, die tatsächlich vorkommen. Fragen Sie die erfahrenen Kolleginnen und Kollegen: Was machen Neue an dieser Stelle typischerweise falsch?
5. Zu jeder Antwort eine Rückmeldung schreiben. Ein Satz reicht: warum die Antwort stimmt oder was sie übersieht. Andrew Butler und Henry Roediger haben 2008 gezeigt, dass Rückmeldung nach Multiple-Choice-Fragen das Behalten verbessert und verhindert, dass sich falsche Antworten festsetzen.
Drei Antworten reichen
Viele Tests haben vier oder fünf Antwortmöglichkeiten, weil man das so kennt. Die vierte und fünfte Antwort sind aber oft schwach: offensichtlich falsch, witzig gemeint oder „alle genannten“. Sie machen den Test länger, ohne ihn genauer zu machen.
Michael Rodriguez hat 2005 die Forschung aus acht Jahrzehnten zu dieser Frage zusammengefasst. Sein Ergebnis: Drei Antwortmöglichkeiten, also eine richtige und zwei gute Ablenker, sind in den meisten Fällen die beste Wahl. Der Test wird kaum schlechter, die Teilnehmenden schaffen in derselben Zeit mehr Fragen, und Sie sparen beim Schreiben die mühsamste Arbeit.
Ein Beispiel: aus einer schwachen Frage wird eine gute
Ein ausgedachtes, aber typisches Beispiel aus der Schulung zum Arbeitsschutz in einem Lager:
Vorher:
Was bedeutet die Abkürzung PSA?
a) Persönliche Schutzausrüstung
b) Persönliche Sicherheitsanweisung
c) Pflicht zur Sicherheitsausbildung
d) Alle genannten
Die Frage prüft eine Abkürzung. Wer sie beantwortet, hat noch keinen Handschuh angezogen. Antwort d) ist ein Hinweis, dass die Ideen ausgegangen sind.
Nachher:
Sie sollen Paletten mit Glasflaschen umsetzen. Ihre Schnittschutzhandschuhe liegen im Spind am anderen Ende der Halle. Was tun Sie?
a) Ich hole die Handschuhe, bevor ich anfange.
b) Ich fange an und arbeite besonders vorsichtig.
c) Ich nehme die Arbeitshandschuhe aus dem Stapler.
Rückmeldung zu b): „Vorsicht ersetzt keinen Schutz. Gerade bei Glas reicht ein Moment.“ Rückmeldung zu c): „Arbeitshandschuhe schützen vor Schmutz, nicht vor Schnitten.“
Die neue Frage prüft eine Entscheidung, die im Lager täglich ansteht. Beide Ablenker sind Fehler, die vorkommen. Und die Rückmeldung erklärt, warum, statt nur „falsch“ zu melden.
Prüfliste für jede Frage
| Prüfpunkt | Woran Sie es merken |
|---|---|
| Gehört zu einem Lernziel | Sie zeigen auf die Zeile im Konzept |
| Stellt einen Fall aus der Arbeit | Die Frage beginnt mit einer Situation |
| Eine Antwort ist eindeutig richtig | Zwei erfahrene Kollegen wählen dieselbe |
| Ablenker sind echte Fehler | Jemand hat sie schon einmal gemacht |
| Keine Verneinung im Fragesatz | Kein „Was ist nicht richtig?“ |
| Keine „alle“ oder „keine der genannten“ | Jede Antwort steht für sich |
| Antworten etwa gleich lang | Die richtige fällt nicht durch Länge auf |
| Rückmeldung zu jeder Antwort | Ein Satz mit dem Warum |
Die meisten dieser Punkte finden sich auch in den Regeln, die Thomas Haladyna, Steven Downing und Michael Rodriguez 2002 aus Lehrbüchern und Forschung zum Schreiben von Testfragen zusammengetragen haben. Sie gelten in der Schule, im Studium und genauso im Unternehmen.
Wie der Test eingesetzt wird
Ein Wissenstest am Ende einer langen Schulung ist besser als keiner. Wirksamer sind kurze Tests über die Zeit verteilt: drei Fragen direkt nach einem Abschnitt, fünf Fragen eine Woche später, noch einmal dieselben nach einem Monat. Jeder Abruf festigt, was sonst nach und nach verblasst. Warum das so ist, erklärt der Artikel zur Vergessenskurve.
Ein paar Hinweise für die Praxis:
- Kein Druck, wo es um Lernen geht. Ein Test zum Üben braucht keine Note und keine Weitergabe an die Führungskraft. Wer Angst vor dem Ergebnis hat, rät vorsichtig statt ehrlich.
- Ergebnisse auswerten. Wenn bei einer Frage die meisten dieselbe falsche Antwort wählen, liegt das selten an den Teilnehmenden. Meist fehlt in der Schulung etwas, oder die Frage ist missverständlich.
- Fragen pflegen. Ändert sich ein Ablauf, ändern sich die Fragen. Legen Sie fest, wer sie prüft.
- Grenzen kennen. Ein Wissenstest zeigt, ob jemand die richtige Entscheidung erkennt. Ob jemand sie am Arbeitsplatz auch umsetzt, zeigt erst das Beobachten bei der Arbeit.
Fangen Sie mit einer Schulung an, die bei Ihnen regelmäßig stattfindet. Nehmen Sie die drei wichtigsten Lernziele und schreiben Sie zu jedem eine Frage, die mit einer Situation beginnt. Lassen Sie eine erfahrene Kollegin die Ablenker ergänzen. Nach einer Stunde haben Sie den Kern eines Tests, der mehr prüft als Abkürzungen.
Häufige Fragen
Wie viele Antwortmöglichkeiten braucht eine Multiple-Choice-Frage?
Drei reichen in den meisten Fällen: eine richtige und zwei Ablenker, die tatsächlich jemand wählen würde. Eine Metaanalyse von Michael Rodriguez (2005) über acht Jahrzehnte Forschung kommt zu dem Schluss, dass eine vierte oder fünfte Antwort die Güte eines Tests kaum verbessert, aber viel Zeit beim Schreiben kostet.
Wie viele Fragen sollte ein Wissenstest nach einer Schulung haben?
So viele, wie die Schulung Lernziele hat, je Lernziel zwei bis drei Fragen. Für eine Schulung von einem halben Tag sind das selten mehr als fünfzehn. Wichtiger als die Zahl ist, dass jede Frage zu einem Lernziel gehört.
Ist ein Wissenstest nur zur Kontrolle da?
Nein. Wer sich an eine Antwort erinnern muss, behält sie länger als jemand, der den Stoff nur noch einmal liest. Roediger und Karpicke haben das 2006 in Versuchen gezeigt. Ein Test mit Rückmeldung ist deshalb auch ein Teil des Lernens.
Quellen
- Haladyna, T. M., Downing, S. M., Rodriguez, M. C. (2002): A review of multiple-choice item-writing guidelines for classroom assessment, Applied Measurement in Education 15(3), DOI
- Rodriguez, M. C. (2005): Three options are optimal for multiple-choice items: A meta-analysis of 80 years of research, Educational Measurement: Issues and Practice 24(2), DOI
- Roediger, H. L., Karpicke, J. D. (2006): Test-enhanced learning: Taking memory tests improves long-term retention, Psychological Science 17(3), DOI
- Butler, A. C., Roediger, H. L. (2008): Feedback enhances the positive effects and reduces the negative effects of multiple-choice testing, Memory & Cognition 36(3), DOI
