LLM-Quality-Score

Think before you prompt

Der LLM-Quality-Score ist ein Digital Nudge, der die Qualität eines Prompts bereits vor dem Absenden bewertet. Anhand ausgewählter Kriterien wie Klarheit, Struktur, Kontexttiefe, Sprachqualität, Bias Risiko und Rahmenbedingungen erhalten Nutzerinnen und Nutzer direktes Feedback zu ihrer Eingabe und werden so dazu angestoßen, ihren Prompt noch einmal zu reflektieren und bei Bedarf zu verbessern. Genudged wird nicht durch Zwang oder Blockade, sondern durch sichtbares, unmittelbares Feedback, das die Aufmerksamkeit auf die eigene Eingabe lenkt, ganz im Sinne des Leitsatzes „Think before you prompt.“ Bei der Umsetzung erkennt der Score zunächst über eine Metaebene den Typ des Prompts, etwa Erklären, Zusammenfassen, Programmieren oder Analysieren, und gewichtet die Kriterien je nach Typ unterschiedlich. Auf dieser Grundlage berechnet er einen Qualitätswert und blendet ihn direkt im Eingabefeld ein. Ergänzend hinterlegt das System konkrete Verbesserungsvorschläge nach dem Muster „Statt … besser …“, sodass nicht nur eine Bewertung, sondern auch eine umsetzbare Hilfestellung entsteht. Das Wirkprinzip folgt der Kette: Prompt, Quality Score, Reflexion, verbesserte Promptformulierung und schließlich eine akkuratere Antwort der KI.

Akzeptieren Sie die Cookie Einstellung um Panopto Inhalte sehen zu können.

Panopto freischalten

Was bedeutet das Thema?

Large Language Models (LLMs) wie ChatGPT werden im Hochschulalltag zunehmend für Recherchen und Lernprozesse eingesetzt. Unser Konzept basiert auf der Tri-System Theory von Shaw und Nave, die das klassische Modell menschlicher Denkprozesse um die Künstliche Intelligenz erweitert. Sie beschreibt drei miteinander verknüpfte Systeme: System 1 steht für schnelles und intuitives Denken, System 2 für bewusstes, kritisches und analytisches Denken und System 3 für die Künstliche Intelligenz, die Informationen und Lösungsvorschläge bereitstellt. Idealerweise unterstützt System 3 die menschlichen Denksysteme, während System 2 die Ergebnisse der KI kritisch überprüft. In der Praxis wird dieser Prüfschritt jedoch häufig übersprungen, da Nutzerinnen und Nutzer den Antworten der KI unmittelbar vertrauen. Dieses Verhalten wird als Cognitive Surrender bezeichnet. Davon zu unterscheiden ist das Cognitive Offloading, bei dem die KI bewusst als Unterstützung genutzt wird, während das eigene Denken aktiv bleibt. Da Studierende ihre Prompts häufig spontan und wenig präzise formulieren, entstehen oft unvollständige oder fehlerhafte Antworten, die anschließend unkritisch übernommen werden.Genau an dieser Stelle setzt unser Nudge an.

Ziel des Nudges

Ziel des LLM-Quality-Scores ist es, Nutzerinnen und Nutzer zu einer bewussten Reflexion ihrer Eingabe anzuregen, bevor sie diese absenden. Indem der Score ein kurzes, prüfendes Innehalten auslöst, soll er das reflektierte Denken von System 2 reaktivieren und so die Tendenz zum Cognitive Surrender verringern. Auf diese Weise sollen die Antworten einer KI weniger blind übernommen und Sprachmodelle insgesamt bewusster genutzt werden. Shaw und Nave zeigen empirisch, dass Feedback und Anreize das Denken von System 2 reaktivieren und Cognitive Surrender messbar verringern können, was die Wirkungslogik unseres Scores stützt. Langfristig sollen Nutzerinnen und Nutzer dadurch eine nachhaltige Kompetenz in der Gestaltung von Prompts entwickeln. Übergeordnet verfolgen wir das Ziel, den LLM-Quality-Score als vorgeschalteten Reflexionsmechanismus in bestehende Systeme künstlicher Intelligenz an Hochschulen zu integrieren.

    Bedarfsanalyse

    • Verbreitung von Sprachmodellen im Studium
      LLMs sind im Hochschulalltag zu einem festen Werkzeug für Recherche und Lernen geworden, sodass ihre Nutzung kaum noch bewusst hinterfragt wird.
    • Unkritische Übernahme von Ausgaben
      Shaw und Nave zeigen, dass Personen den Empfehlungen einer KI selbst dann in rund vier von fünf Fällen folgen, wenn diese fehlerhaft sind, und dass ihre Trefferquote unmittelbar mit der Qualität der Ausgabe steigt oder fällt.
    • Trügerische Sicherheit
      Der Zugang zu einer KI erhöht das Selbstvertrauen in die eigene Antwort, auch wenn diese falsch ist, wodurch Fehler unbemerkt bleiben.
    • Geringe Promptkompetenz
      Spontane und unpräzise Prompts führen häufig zu unvollständigen oder fehlerhaften Antworten, ohne dass die Ursache erkannt wird.
    • Fehlender Reflexionsanstoß
      In bestehenden Systemen gibt es bislang keinen Mechanismus, der vor dem Absenden zum Nachdenken über die eigene Eingabe anregt.

    Ursachenanalyse

    • Automation Bias

      Die Tendenz, den Ausgaben einer KI stärker zu vertrauen als der eigenen Einschätzung, führt dazu, dass Antworten ungeprüft übernommen werden.

    • Cognitive Surrender (nach Shaw und Nave)

      Das prüfende Denken von System 2 wird
      übersprungen und die Ausgabe von System 3 unkritisch als eigene Antwort akzeptiert.

    • Verarbeitungsflüssigkeit (Fluency)

      Flüssig und selbstbewusst formulierte Antworten wirken überzeugender und werden eher für richtig gehalten, unabhängig von ihrer tatsächlichen Korrektheit.

    • Autoritätsheuristik

      Die KI wird als kompetente und neutrale Instanz wahrgenommen, wodurch ihre Ausgaben mit hoher Glaubwürdigkeit versehen und seltener hinterfragt werden.

    • Prinzip des geringsten Aufwands (Cognitive Miser)

      Da reflektiertes Denken anstrengend ist, wählen Nutzerinnen und Nutzer den bequemen Weg und übernehmen die schnell verfügbare Antwort.

Die Zielgruppe

Primäre Zielgruppe sind Hochschulrechenzentren und externe Einrichtungen aus Forschung und Technologie wie die RWTH Aachen, die HAWK oder der KI-Campus. Sie entwickeln und betreiben die hochschuleigenen Sprachmodelle, etwa die HSHL mit KI:Connect, und sind daher die richtige Stelle, um den LLM-Quality-Score als vorgeschalteten Reflexionsmechanismus zu integrieren. Indirekt richtet sich der Nudge an die Studierenden, die diese Systeme täglich nutzen.

Mehrwert des Nudges

  • Bessere Antworten durch bessere Prompts

    Ein kurzer Reflexionsimpuls führt zu präziseren Eingaben und damit zu genaueren und nützlicheren Antworten der KI.

  • Schutz vor unkritischer Übernahme

    Der Score reaktiviert System 2 und verringert die Gefahr, fehlerhafte Ausgaben ungeprüft zu übernehmen.

  • Nachhaltige Promptkompetenz

    Mit der Zeit lernen Nutzerinnen und Nutzer, bewusster, kritischer und kompetenter mit KI umzugehen.

CONTACT US

Long Phi Do

long-phi.do@stud.hshl.de

David Klein

david.klein@stud.hshl.de

Nethen-Kiya Rosentreter

nethen-kiya.rosentreter@stud.hshl.de

Vasilios Kiosses

vasilios.kiosses@stud.hshl.de