Unser LLM-Quality-Score ist ein Digital Nudge, der die Qualität eines Prompts bereits vor dem Absenden bewertet. Nutzerinnen und Nutzer erhalten direktes Feedback zu ihrer Eingabe anhand von Kriterien wie Klarheit, Struktur, Kontexttiefe u.v.m. Der Score blockiert die Anfrage nicht, sondern regt dazu an, den Prompt bewusst zu reflektieren und zu optimieren. Ziel ist es, die Qualität von KI-Antworten zu verbessern durch einen kurzen Reflexionsimpuls bei der Promptformulierung.
1. Situation: Large Language Models (LLMs) werden im Hochschulalltag zunehmend für Recherchen und Lernprozesse eingesetzt. Damit steigt zugleich das Risiko eines Automation Bias, also der Tendenz, KI-generierten Antworten zu stark zu vertrauen und diese ungeprüft zu übernehmen. Um dem entgegenzuwirken, soll ein LLM-Quality-Score entwickelt werden, der bereits vor dem Absenden eines Prompts dessen Qualität anhand ausgewählter Bewertungskriterien einschätzt. Nutzer:innen erhalten dadurch direktes Feedback zu ihrer Eingabe und werden dazu angeregt, ihren Prompt zu reflektieren und gegebenenfalls zu verbessern.
2. Problemdarstellung: Viele Studierende formulieren Prompts spontan und übernehmen KI-generierte Antworten häufig unkritisch. Unpräzise Prompts führen jedoch häufig zu unvollständigen oder fehlerhaften Antworten. Unser Ziel ist es, diesem Automation Bias entgegenzuwirken und die Promptkompetenz nachhaltig zu stärken.
3. Lösung: Der LLM-Quality-Score analysiert den Prompt vor dem Absenden und bewertet ihn anhand definierter Qualitätskriterien. Anstatt die Nutzung einzuschränken, motiviert er Nutzerinnen und Nutzer, ihre Eingabe zu verbessern.
Das Prinzip lautet: Prompt -> Quality Score -> Reflexion -> verbesserte Promptformulierung -> akkuratere Antwort der KI
Bewertungskriterien:
- Klarheit → Ist verständlich, was die KI tun soll?
- Struktur → Chain of thought
- Kontexttiefe → Relevante Hintergrundinformationen
- Bias-Risiko → Enthält der Prompt Biases/suggestive Formulierungen? Wie objektiv/neutral wurde der Prompt entworfen?
- Eindeutigkeit/Sprachqualität → Ist der Prompt nachvollziehbar & möglichst frei von Mehrdeutigkeit?
- Rahmenbedingungen → Angaben dazu, wie die Antwort aussehen soll (stichpunktartig/ganze Sätze/etc.)
4. Ergebnis: Durch das Suggestieren einer Reflexion des Nutzers durch den LLM-Quality-Score können KI-Antworten weniger blind übernommen und LLMs insgesamt reflektierter genutzt werden. Der Score aktiviert dabei die Ebene des bewussten Nachdenkens beziehungsweise der Metakognition, indem Nutzer:innen dazu angeregt werden, die Qualität ihrer Eingabe vorab kritisch zu prüfen. Langfristig kann dies dazu beitragen, bessere Kompetenzen in der Promptgestaltung zu entwickeln und den Umgang mit LLMs sicherer und bewusster zu gestalten.