Hauptinhalt

Automatisierte Gütebewertung für schriftliche Prüfungen

Beteiligte und Zielgruppe

Das Projekt wird in Kooperation zwischen den Fachbereichen Informatik und Mathematik (FB 12) sowie Psychologie (FB 04) durchgeführt. Am FB 12 sind hieran vor allem beteiligt Prof. Christoph Bockisch (Arbeitsgruppe Programmiersprachen und -werkzeuge) und die Studentin Teresa Dreyer, am FB 04 sind dies Prof. Sarah Teige-Mocigemba und ihr Doktorand Paul Bacher (Arbeitseinheit Psychologische Diagnostik).

Das Vorhaben richtet sich an die Lehrenden als Anwender, die bei der Nachbereitung ihrer Prüfungen unterstützt werden. Eine weitere Zielgruppe sind die Studierenden, die durch die verbesserten Möglichkeiten zur Reflexion über die Testgüte auf lange Sicht von optimierten Aufgabenstellungen profitieren sollen.

Ziel

Bei Klausuren wird in der Regel über die erreichten Punkte und Punktzahlintervalle eine Note bestimmt. Obgleich in der psychologischen Diagnostik etablierte Bewertungskriterien für die Qualität von Testverfahren (z.B. Klausuren) bestehen, wird dieses Wissen bei der Auswertung und Überarbeitung von Klausuritems oft nur unzureichend genutzt. Daher soll ein Werkzeug entwickelt werden, das die für verschiedene Aufgabentypen (z.B. Programmieraufgaben, Freitext oder Multiple Choice) relevanten Kennwerte zur Beurteilung der Testgüte automatisch ermittelt (z.B. Schwierigkeitsindizes, Trennschärfe) und auswertet. Das Werkzeug soll als Web-Anwendung Lehrenden der Philipps-Universität Marburg zugänglich gemacht und die weitere Interpretation der Kennwerte durch ein Manual dokumentiert werden. In einem Workshop sollen interessierten Lehrenden verschiedener Fachbereiche die Projektergebnisse vorgestellt werden.

Ablauf/Durchführung

Die Durchführung wird durch die beteiligten Arbeitsgruppen koordiniert und jeweils eine studentische Hilfskraft in beiden Arbeitsgruppen wird die Entwicklung von Materialien und Werkzeugen vorantreiben. Die Arbeit wird in beiden Arbeitsgruppen parallel durchgeführt und in regelmäßigen gemeinsamen Treffen aufeinander abgestimmt. Folgende Arbeitsschritte sind geplant:

Psychologie

  • Bestandsaufnahmen von statistischen Kennwerten und deren Anwendbarkeit auf verschiedene Aufgabentypen
  • Formulierung von Regeln zur Interpretation der Kennwerte
  • Erstellung eines Manuals und von Schulungsmaterialien (Schwerpunkt Testtheorie und statistische Kennwerte)
  • Durchführen eines Pilotdurchlaufs

Informatik

  • Weiterentwicklung der bestehenden Software, Installation und Wartung
  • Implementierung zusätzlicher Kennwerte
  • Implementierung der Interpretationsregeln der Kennwerte zur Erstellung einer textuellen Zusammenfassung
  • Erstellung eines Manuals und von Schulungsmaterialien (Schwerpunkt Anwendung der Software)
  • Durchführen eines Pilotdurchlaufs

Das Ergebnis soll zum Projektende interessierten Mitgliedern der Philipps-Universität in einem Workshop vorgestellt und zugänglich gemacht werden.

Zeitrahmen

März bis Dezember 2020

Die zu erstellenden Materialien und Werkzeuge werden über die Projektlaufzeit hinaus weiterhin zur Verfügung gestellt werden. Eine Weiterführung des Projekts wird zum Beispiel im Rahmen von studentischen (Forschungs-) Praktika angestrebt.

Ansprechpersonen

Weitere Informationen