8.1 – Einleitung

Der vorliegende Abschnitt fasst einerseits den Stand der Ding zusammen, gibt Hinweise auf verschiedene möglich Umsetzungen und zeigt auch kurz auf, wie zukünftige Weiterentwicklungen aussehen könnten.

Die Präsentation wird zudem mit einigen Verweisen auf interessante Artikel und Erfahrungsberichte zu Thema der Multiple-Choice-Aufgaben ergänzt.

Wer schon Erfahrungen mit Multiple-Choice-Fragen hat, findet die eine oder andere vielleicht neue Idee, wer das erst noch ausprobieren möchte findet sowohl Hintergrundinformationen als auch praktische Beispiele. Selbstverständlich helfen die MELETE-Mitglieder stets gerne bei konkreten Umsetzungsfrage und Erkenntnissen aus den eigenen Erfahrungen.

 

8.2 – Worum geht es?

In den letzten Jahren wurden vermehrt Multiple-Choice-Aufgaben einerseits im Rahmen der Übungen und als interaktive Elemente in der Vorlesung (z. B. via EduApp) sowie andererseits als Bestandteil von Prüfungen eingesetzt. Insbesondere in den Service-Vorlesungen (Mathematik-Vorlesungen für Nicht-Mathematiker) haben sich Multiple-Choice-Aufgaben als integraler Bestandteil der Lehrveranstaltungen etabliert.

Gerade in der Vorlesung bieten Multiple-Choice-Fragen vielfältige Möglichkeiten, die von kurzen Tests des Gelernten über das Abfragen möglichen Vorwissens bis zum gemeinsamen Erarbeiten von neuem Stoff in kleinen Schritten reichen.

Zwei Beispiele sind hier abgebildet.

 

 

Weitere Umsetzungen sind z. B. die echo-Plattform oder ganz klassisch die Integration von Multiple-Choice-Fragen in die PDFs der Übungsserien. Allerdings stehen in diesen beiden Formen kaum Möglichkeiten für Feedback zur Verfügung.

 

8.3 – Warum Multiple-Choice-Aufgaben

Multiple-Choice-Aufgaben in Prüfungen haben den klaren Vorteil, dass sie einfach und mit relativ geringem Aufwand korrigiert werden können (entweder mit dem Scanner oder via Moodle (Safe Exam Browser, siehe Mitteilung der ETH oder offizielle Website)) und Interpretationen oder  Gutmütigkeit seitens der Korrigierenden wegfallen. Sie bieten also ein hohes Mass objektiver Korrektur, was Fairness und Transparenz – gerade bei Prüfungen – erhöht. Zudem spart die maschinelle Korrektur wertvolle Zeit – insbesondere für die Assistierenden.

Will man Multiple-Choice-Aufgaben in einer Prüfung nutzen, sollten die Studierenden dies schon während des Semesters als integrierten Bestandteil der Übungen erleben – im Idealfall mit den gleichen Formaten wie anschliessend in der Prüfung. Multiple-Choice-Fragen in den Übungen bieten zudem die Möglichkeit eines zwar automatisierten, aber individuellen Feedbacks.

 

8.4 – Erfahrungen und Hintergrund

Bei den meisten Vorlesungen im Basisjahr hat sich das Arbeiten mit Multiple-Choice-Aufgaben zum Üben und zum gezielten Abfragen von Lernzielen (ob beispielsweise eine Definition verstanden wurde) als Standard etabliert. Zudem wird dieses Aufgabenformat in vielen weiteren Vorlesungen eingesetzt, da es sich auch aus didaktischer Sicht bewährt hat.

Der Artikel von Alexander Caspar und Damian Miller   fasst die Erfahrungen der letzten Jahr sehr schön zusammen, insbesondere die Evaluation aus didaktischer Sicht. In dieser Arbeit werden zudem wichtige und nützliche Aspekt der praktischen Umsetzung thematisiert.

Die beiden oben verlinkten Arbeiten geben eine vertiefte Analyse der Thematik, die weit über den Rahmen des vorliegenden Abschnitts hinausgeht.

 

8.5 – Mögliche Formate

Von der ETH werden verschiedene Formate von Multiple-Choice-Fragen besonders empfohlen. Hier werden zwei Formate, welche sich auch in der Praxis besonders erprobt haben, kurz vorgestellt:

1. Single choice: Damit ist gemeint, dass aus einer Liste von – in der Regel 4 – möglichen Antworten die eine (einzige) richtige Antwort ausgewählt werden muss. Jede Frage wird damit als einzelne Einheit betrachtete und entsprechend bewertet. Von Negativpunkten wird abgeraten.
2. K›-Modus: In diesem Modell werden vier Wahr-Falsch-Fragen zu einem Block zusammengefasst und die Punktvergabe sieht wie folgt aus: Für 4 richtige Antworten werden 4 Punkte vergeben, 3 richtige Antworten ergeben noch 2 Punkte und für zwei oder weniger richtige Antworten gibt es keine Punkte.

In diesem Zusammenhang sei auch das offizielle Dokument, der Leitfaden zur Notengebung bei schriftlichen Prüfungen ,   insbesondere der Abschnitt 2.1.6, erwähnt, welche weitere Informationen zu den oben genannten Punkten erhält. 

 

8.6 – Vorteile

1. Effizienz (siehe oben genannte Punkte), insbesondere für in sich geschlossene Lernziele, die gut in gezielten Einzelfragen überprüft werden können.
2. Zeiteinsparung bei der Korrektur.
3. Gleiche Korrekturbedingungen für alle, da Interpretationen oder gooodwill des Korrigierenden wegfallen.
4. Zur Erlangung von Rechenroutine oder zur Festigung konzeptioneller Ideen können Multiple-Choice-Aufgaben eine gute Möglichkeit zum individuellen Üben bieten.
5. Insbesondere Multiple-Choice-Fragen mit Rückmeldungen bieten im Rahmen der Übungen eine gute Möglichkeit, auf typische, oft auftretende Fehler einzugehen, indem diese durch Distraktoren implementiert werden und bei Wahl durch eine erklärende Rückmeldung besprochen werden können.

 

8.7 – Nachteile

1. Die Erstellung von guten Mutliple-Choice-Fragen – insbesondere als Teil einer Prüfung – ist relativ zeitintensiv, insbesondere wenn man bedenkt, dass für 60 Minuten einer Prüfung ca. 20 Single-Choice-Fragen, respektive ca. 40 Wahr-Falsch-Fragen, respektive 10 K›-Fragen  vorbereitet werden müssen. Ausserdem empfiehlt es sich, mehrere Versionen eines Multiple-Choice-Fragen-Teils einer Prüfung zu erstellen (Umordnung der Fragen und / oder Umstellen der Reihenfolge der Antworten).
2. Nicht alle Themen und Lernziele lassen sich gleich gut mit Multiple-Choice-Fragen abdecken.
3. Transferleistungen und grössere Kontexte sind durch Multiple-Choice-Fragen nicht gleich gut zu prüfen wie Fragen mit freien Antworten, bei welchen auch Ideen und Lösungswege bewertet werden.
4. Die Vorgabe von möglichen Antworten kann auch als Hilfeleistung zur Beantwortung einer Frage gesehen werden.

 

8.8 – Multiple-Choice-Aufgaben als Bestandteil einer Prüfung

In den letzten Jahren hat sich der Einsatz von Multiple-Choice-Fragen sowohl bei Zwischenprüfungen (in der Regel 100% Multiple-Choice-Aufgaben) als auch bei Jahres- und Semesterprüfungen (20 -50% der möglichen Punkte) bei Servie-Vorlesungen etabliert und wird von den betroffenen Dozierenden auch als neue Möglichkeit geschätzt, obwohl sie sich auch der offensichtlichen Nachteile bewusst sind.

Multiple-Choice-Fragen auch bei Prüfungen für Studierende der Mathematik oder Physik einzusetzen, ist allerdings sehr umstritten.

Beim Einsatz von Multiple-Choice-Fragen in Prüfungen sollte zudem berücksichtig werden, was reines Raten für einen Einfluss hat, welchen Prozentsatz der Prüfung durch Multiple-Choice-Fragen abgedeckt werden, und mit welcher Wahrscheinlichkeit richtig, respektive falsch geantwortet wird. Dazu hat Markus Kalisch  ein sehr elegantes Tool programmiert, mit welchem diese Effekte abgeschätzt werden können. 

Es wurde auch die Erfahrung gemacht, dass bei Prüfungen, die sowohl aus Multiple-Choice-Fragen als auch aus klassischen, offenen Fragen bestehen, die Studierenden – vermutlich aus psychologischen Gründen – diejenigen Aufgaben intensiver und besser (mehr Punkte im Durchschnitt) bearbeiten, die in der Aufgabenstellung zuerst gestellt werden. Umstellungen in der Reihenfolge sollen hier mehr Erkenntnisse bringen, woran dieser Unterschied in der Bearbeitung liegt.

Der wichtigste Punkt beim Einsatz von Multiple-Choice-Fragen in Prüfungen ist die Qualität der gestellten Fragen, respektive die kluge Entscheidung, welche Lernziele mit welchem Aufgabentyp am besten abgebildet werden. Dazu können auch der offizielle Leitfaden zur Erstellung von Mutliple-Choice-Fragen  sowie die allgemeinen Orientierungshilfen zum Erstellen von Prüfungen   hilfreich sein.

 

8.9 – Ausblick

Im Kontext der didaktischen Idee der »productive failure», die vom ETH-Professor  Manu Kapur  intensiv erforscht und propagiert wird, wird bereits an Weiterentwicklungen der oben genannten möglichen Umsetzungen der Multiple-Choice-Fragen gearbeitet. Die grundlegende Idee ist dabei, dass Studierende bei Tests die Option haben, eine falsche Antwort – selbstverständlich mit einem entsprechenden Abzug – nochmals zu überdenken und entsprechend zu verbessern. In Moodle kann aktuell ein prozentualer Abzug zwischen 10 und  100 umgesetzt werden (Abstufungen 10 – 20 – 25 – 33 – 50 – 100%).

Eine erste Möglichkeit in dieser Richtung bietet Moodle, wie das folgende Illustrationsbeispiel zeigt

 

Ziel dieser Weiterentwicklung ist es, solche Multiple-Choice-Tests im Rahmen von Leistungs- und Lernelementen einzusetzen und die Frage zu untersuchen, wie solche Szenarien allenfalls auch in Prüfungen integriert werden können. Konkret sollen diese Umsetzungen in den Vorlesungen Mathematik I und II für Humanmedizin umgesetzt werden.