gms | German Medical Science

Fragestellung/Zielsetzung: Mit CaseTrain werden die Pr�fungen in der Humanmedizin an der Julius-Maximilians-Universit�t W�rzburg mittels iPads durchgef�hrt [1]. Zur Datensicherheit werden alle Aktionen der Pr�flinge protokolliert. Eine zeitliche Analyse dieser Daten kann Einblicke in das Antwortverhalten der Pr�flinge im Hinblick auf unterschiedliche Fragentypen bzw. bez�glich der individuellen Pr�fungsleistung geben.

Methoden: Im Fach Innere Medizin wurden im Wintersemester 2021/22 185 Pr�flinge im 7. Fachsemester in 115 min mit 60 Fragen gepr�ft (davon 5xEMQ [engl.: extended matching question], 7xKprim, 8xPickS, 40xTypA). Protokolliert wurden die Zeitpunkte von Markierungen zu Fragen oder einzelnen Antworten, Eingaben/�nderungen von Antworten sowie die Navigation zwischen Fragen. Diese Daten wurden mit der Statistiksoftware R (Version 4.1.1) ausgewertet. Signifikanztests wurden mittels ANOVA mit einem Signifikanzniveau von 5 % durchgef�hrt.

Die Einteilung der Pr�flinge in verschiedene Leistungsgruppen erfolgte laut [2] entsprechend der erzielten Gesamtpunktzahl (je Aufgabe max. 1 Punkt bei richtiger Beantwortung, bei mehr als 50% noch 0,5, sonst 0 Punkte): oberes 27er-Perzentil: gut, unteres 27er-Perzentil: schlecht; sonst: mittlere Leistung.

Ergebnisse: Im Mittel wurden 45 Punkte erzielt. Als Grenzwert f�r die Einteilung in gute Ergebnisse ergab sich eine Punktzahl von 48 (n=57), f�r schlechte 42,5 (n=53), und n=75 mittlere Ergebnisse.

Es wurden 52.226 Ereignisse bzgl. Antworten bzw. deren �nderungen/Markierungen verzeichnet und 37.340 Navigations-Ereignisse. Im Schnitt bearbeiteten � der Pr�flinge die Fragen nur ein einziges Mal. Von den anderen Pr�flingen wurde bis zu sechsmal die Eingabe bzw. Markierungen ge�ndert, wobei der Fragentyp und die Leistungsf�higkeit der Studierenden eine signifikante Rolle spielten (siehe Abbildung 1 [Abb.�1]). Gute Pr�flinge schlie�en mit geringerer Wahrscheinlichkeit nach dem ersten Besuch die Frage ab. Zudem sind bei TypA-Fragen durchschnittlich weniger wiederholte Besuche der Frage zu verzeichnen, als bei den anderen Fragentypen.

Signifikante Unterschiede fanden sich zwischen den Leistungsgruppen auch hinsichtlich der Anzahl von Markierungen, die zu einzelnen Fragen bzw. Antwortoptionen gemacht wurden: am h�ufigsten nutzten Pr�flinge mit mittlerer Gesamtleistung diese Funktion (7720 Ereignisse), gefolgt von denjenigen mit hoher Leistung (6618 Ereignisse). Die Pr�flinge mit schlechter Gesamtleistung nutzten dies am wenigsten (4562 Ereignisse).

Diskussion: Der Pr�fungsverlauf l�sst sich bei elektronischen Pr�fungen bis ins Detail verfolgen und erfordert tiefergehende Analysen. Der geringere Wechsel zwischen Fragen bei Pr�flingen mit schlechtem Ergebnis k�nnte auf die zus�tzlich ben�tigte Zeit zum Verstehen und Durchdenken zur�ckzuf�hren sein.

Take Home Messages:

• � der Pr�flinge schlie�en Fragen bereits mit der ersten Bearbeitung ab.
• Schlecht abschlie�ende Pr�flinge denken l�nger nach, was sich in weniger Markierungen und selteneren Besuchen von Fragen widerspiegelt.