Einfache Notenrubrics mit ChatGPT

Die Erstellung von kursspezifischen Notenschemata, so genannten Rubrics, war bis vor wenigen Jahren eine enorm zeitintensive Angelegenheit. Lernziele mussten formuliert und abgeglichen werden, eine möglichst konkrete, aber dennoch offene Beschreibung der Notenstufen erfolgen. Mit der zunehmenden Verbreitung von generativer KI-Systemen entstehen hier Effizienzvorteile und zwar aus zwei Sichten: Erstens kann durch gezieltes Prompting und gleichzeitige Analyse von Lerngegenstand und Lernzielen sehr schnell ein (zuerst) generischer Rubric erstellt werden, der dann weiter bearbeitet und angepasst werden kann. Zweitens «lernen» LLMs in der Anwendung und können durch gezieltes Training, insbesondere in Custom GPTs zu schnellen und verlässlichen Ergebnissen kommen 

Lernziele

Lernziele können und müssen spezifisch in den Lernprozess einbezogen werden und können je nach Anforderung priorisiert werden. So z.B. in einem Kurs über Identitätsbildung: 

LZ 3: Die Studierenden reflektieren die Notwendigkeit des Anderen als Bedingung für die eigene Identität und als Voraussetzung für Kommunikations- und Aushandlungskompetenz 

Ergibt z.B. das inhaltliche Raster:  

Bewertungs-kriterien	Sehr gut (5 Punkte)	Gut (4 Punkte)	Befriedigend   (3 Punkte)	Ausreichend   (2 Punkte)	Ungenügend   (1 Punkt)
Reflexion der eigenen Erfahrungen (40%)	Tiefe und kritische Auseinander-setzung mit den eigenen Erfahrungen, klare Bezugnahme auf das erste Essay, neue Einsichten und Reflexionen.	Gute Auseinander-setzung mit den   eigenen Erfahrungen, Bezug auf das erste Essay vorhanden, einige neue Einsichten.	Ausreichende Reflexion,   oberflächliche Auseinander-setzung mit den eigenen Erfahrungen, begrenzter   Bezug auf das erste Essay.	Schwache Reflexion, unklare oder wenig durchdachte Bezugnahme auf das erste Essay.	Keine erkennbare Reflexion, fehlender Bezug zum ersten Essay.
Tiefe der Argumentation (40%)	Sehr fundierte und differenzierte Argumentation, die neue Erkenntnisse oder vertiefte Einsichten offenbart.	Gute Argumentation, differenziert und weitgehend überzeugend, jedoch ohne tiefgehende neue Einsichten.	Ausreichende Argumentation,   jedoch mit Lücken oder oberflächlichen Gedanken.	Schwache Argumentation, viele unreflektierte oder unklare Aussagen.	Keine überzeugende Argumentation,   oberflächliche oder fehlende Auseinander-setzung mit dem Thema.
Aufbau des Essays (20%)	Klar strukturierter und logisch   aufgebauter Text mit fließenden Übergängen zwischen den Abschnitten.	Gut strukturierter Text, weitgehend klare Übergänge.	Akzeptabler Aufbau, teilweise   unklare oder sprunghafte Übergänge.	Schwacher Aufbau, unklare   Übergänge und sprunghafter Gedankengang.	Kein klarer Aufbau erkennbar, sehr unstrukturiert und chaotisch.

Ablauf

1. Zuerst braucht es eine Abklärung mit den eigenen Lernzielen. Nur auf dieser Basis kann eine Erstellung eines Notenrubrics erfolgen. Weiterhin eine Klarheit über die avisierte Prüfungsform und das Format derselben. Damit kann festgelegt werden, welche Kategorien für eine Notenverteilung relevant sind (z.B. Argumentstruktur, Inhaltliche Klarheit, Präsentationskompetenz, etc.). 

2. Für die Benutzung von KI-Tools ist ein kritischer Dialog unabdingbar. Die ersten Outputs werden tendenziell generischer Natur sein, da öffentlich auffindbare Rubrics von derselben Qualität sind. Wichtig ist es daher, konkrete Angaben zur «Tiefe» der Bewertung zu machen, also konkrete Inhalte in die Rubrics aufzunehmen (z.B. über die Struktur eines Arguments oder die Verwendung von Primär- oder Sekundärliteratur). Damit ergeben sich für die Studierenden grössere Transparenzgewinne. Erfolgreich erstellte Rubrics in dieser Art können dann für weitere Kurse genutzt werden, indem eine Anpassung über die konkreten Lernziele erfolgt. 

3. Entscheidend ist die konkrete Priorisierung von vermittelten Kompetenzen. Die Leitfrage hierbei ist: Welche Art von Kompetenzen möchte ich durch den Kurs bzw. durch die Prüfung besonders stärken (z.B. Urteilskompetenz). Erst aus dem Zusammenspiel von Kursstruktur, Prüfungsbedingungen und konkreten Kompetenzen kann ein verwendungsfähiger Prompt generiert werden, im besten Fall durch Chain-of-Thought-Prompting. 

Voraussetzungen

• Keine Voraussetzung notwendig, für CustomGPTs jeweilige Pro-Versionen 

Eckdaten

Lehrformat	Alle Lehr- und Prüfungsformate
Zeitrahmen	Über das gesamte Semester (in Abhängigkeit der Prüfungsformen)
Zielgruppe	Studierende auf allen Stufen, Lehrende auf allen Stufen
Gruppengrösse	Für alle Gruppengrössen
Assessment	In allen Assessments (Weiterentwicklung notwendig)
Mögliche Tools	ChatGPT, Claude, Gemini, etc.

Vorteile

• Effiziente Möglichkeit zur Erstellung von Notenrubrics 

• Transparenz in der Bewertung für Studierende 

• Inhaltliche Schärfung und Reflexion der Prüfungskategorien 

Nachteile

• Generische vs. überkomplexe Rubrics 

Beispielprompt für die Erstellung von Rubrics

As Rubric Generator, you assist in creating detailed, clear evaluation rubrics for educational tasks. You guide users through defining task descriptions, scoring scales, and evaluation criteria based on learning goals. You're currently focused on crafting rubrics for academic writing, integrating scoring scales from exemplary to below expectations, and covering criteria such as topic and research question, argumentation, structure, literature and sources, and formal aspects. Your role is to ensure these rubrics are student-friendly and align with university standards, providing descriptors for each criterion at different scoring levels to aid in transparent and effective assessment.  

###  

ALWAYS provide the outcome in a table

---

Weitere Aspekte

Es handelt es sich um eine «Meta-Anwendung» für alle Kurse. Eigene Beispiele wären «nur» ein pars pro toto.