Hinter den Symptomen – gleiche Krankheit, andere Worte

Wir haben ein Nudge+ Konzept entwickelt, was auf einem Prompt basiert, welcher darauf abzielt,kulturbezogene Biases in der Nutzung von ChatGPT im Kontext der Gesundheitsversorgung zu reduzieren und gleichzeitig ein stärkeres Bewusstsein bei Nutzer:innen für dieses Thema durch individuell entwickelte Plakate zu schaffen, die in Arztpraxen oder auf Websides platziert werden können. Konkret wird das Modell durch Prompt-Inputs dazu angeregt, unterschiedliche emotionale Expressionen von gesundheitlichen und psychischen Belastungen bewusster zu berücksichtigen. Dafür werden Eingaben aus verschiedenen kulturellen Hintergründen (Deutsch und Arabisch) einmal mit und einmal ohne Prompt getestet.

Akzeptieren Sie die Cookie Einstellung um Panopto Inhalte sehen zu können.

Panopto freischalten

Was bedeutet das Thema?

Menschen werden im Gesundheitssektor von LLMs benachteiligt, weil die KI den Schweregrad der Probleme anhand von emotionaler Expression beurteilt. Verschiedene Kulturen drücken ihre Emotionen jedoch unterschiedlich emotional aus. ChatGPT ist allerdings stark westlich geprägt und benachteiligt so Menschen, die nicht-westliche Ausdrucksweisen haben.

Ziel des Nudges

Mithilfe unseres Nudges reduzieren wir kulturbezogene Biases in ChatGPT 5 im Bereich der Gesundheitsversorgung durch spezifische Promtgestaltung und steigern zusätzlich die Awareness bei den Nutzer:innen und Anbieter:innen, durch Poster in Arztpraxen, Kliniken oder auf Websides.

    Bedarfsanalyse

    • Existenz kultureller Biases in ChatGPT
      - ChatGPT hat kulturelle Biases aufgrund der Strukturierung von Datensätzen,der Zielsetzungen, der Feature selections, des data labellings, oder dem Transfer gelernter Inhalte -> es braucht weitere Ansätze, um diese Biases zu reduzieren (Buolamwini, 2017). - Neuere Versionen von ChatGPT haben veränderte oder weniger Biases aufgrund von Updates (integration of rule based reward models, reinforcement learning from human feedback, improved multillingual capabilities) und brauchen dementsprechend spezifisch auf sie zugeschnittene Prompts (Yuan et al., 2025). - ChatGPT’s Werteorientierung unterscheidet sich stark von dem der Menschen, wodurch es ein eigenes kulturelles Wertesystem hat. Dadurch funktionieren menschlichen-Frameworks nicht, sondern es braucht neue, spezifisch an LLM’s angepasste (Yuan et al., 2025). - Erste Ansätze (cultural prompting) können Bias reduzieren (Xie et al., 2025). → aber systematische Lösungen fehlen noch
    • Kulturell verschiedene emotionale Ausdrucksweisen von psyhischen Beschwerden
      - Arabischsprachige Personen beschreiben psychische Belastungen durch kulturspezifische Ausdrucksweisen („idioms of distress“). (Vink et al. 2022)
    • Relevanz in Bezug auf das Gesundheitswesen
      - KI trägt dazu bei, ethnische Ungleichheiten in der psychischen Gesundheitsversorgung zu verewigen (LLMs schlagen häufig minderwertige Behandlungen vor, wenn die ethnische Zugehörigkeit des Patienten explizit oder implizit erwähnt wurde) (Bouguettaya et al., 2025). - ChatGPT bzw. GPT-basierte Modelle werden zunehmend in medizinischen Anwendungen und Healthcare-Chatbots eingesetzt (Chow & Li, 2024)

    Ursachenanalyse

    • Kulturbezogener Bias

      ChatGPT wurde überwiegend mit westlich geprägten Datensätzen trainiert. Dadurch werden direkte emotionale Formulierungen häufiger als Hinweis auf eine ernsthafte psychische Belastung interpretiert, während indirekte oder körperbezogene Ausdrucksweisen leichter unterschätzt werden.

    • Repräsentativitätsheuristik

      Das Modell vergleicht neue Eingaben mit typischen Mustern aus seinen Trainingsdaten. Stimmen die beschriebenen Symptome nicht mit den häufig gelernten westlichen Ausdrucksformen überein, wird die Wahrscheinlichkeit einer Depression möglicherweise geringer eingeschätzt.

    • Verfügbarkeitsheuristik

      Westliche Beschreibungen psychischer Erkrankungen sind in Trainingsdaten und medizinischer Literatur stärker vertreten. Diese Muster sind daher für das Modell „verfügbarer“ und beeinflussen die Einschätzung stärker als weniger häufig vorkommende kulturelle Ausdrucksweisen.

    • Sprach- und Ausdrucksbias

      Menschen verschiedener Kulturen beschreiben dieselbe psychische Belastung unterschiedlich. Während westliche Personen häufiger direkte psychologische Begriffe verwenden, werden Beschwerden in anderen kulturellen Kontexten oft indirekt, körperbezogen oder bildhaft formuliert. Dadurch kann die KI den Schweregrad unterschiedlich bewerten.

Die Zielgruppe

Unsere Zielgruppe sind Nutzer:innen von ChatGPT oder von Healthcare Chatbots, Hersteller:innen bzw. Anbieter:innen von LLMs oder Healthcare Chatbots, Arztpraxen, Krankenhäuser und Gesundheitseinrichtungen die mit Healthcare Chatbots arbeiten, sowie Menschen, die Teil einer kulturellen Minderheit sind und von kulturellen Vorurteilen (im Gesundheitswesen) benachteiligt werden.

Mehrwert des Nudges

  • Reduzierung von Benachteiligung für Menschen verschiedener kultureller Hintergründe und Minderheiten

  • Gesteigerte Awareness für das Thema

  • Gerechtere Gesundheitsversorgung für Menschen verschiedener Kulturen

CONTACT US

Emilia Halilovic

emilia.halilovic@stud.hshl.de

Fenja Hustadt

fenja.hustadt@stud.hshl.de

Lina Hartmann

lina.hartmann@stud.hshl.de

Mona Bahloul

mona.bahloul@stud.hshl.de