---
title: Prejudiced interactions with large language models (LLMs) reduce trustworthiness and behavioral intentions among members of stigmatized groups
authors:
  - Z. W. Petzel
  - M. Sowerby
year: 2025
type: journalArticle
doi: 10.1016/j.chb.2025.108563
url: "https://doi.org/10.1016/j.chb.2025.108563"
tags:
  - paper
llm_decision: Include
llm_confidence: 0.92
llm_categories:
  - Generative_KI
  - Bias_Ungleichheit
  - Diversitaet
  - Fairness
human_decision: Include
human_categories:
  - Generative_KI
  - Prompting
  - Bias_Ungleichheit
  - Gender
  - Diversitaet
agreement: agree
---

# Prejudiced interactions with large language models (LLMs) reduce trustworthiness and behavioral intentions among members of stigmatized groups

## Transformation Trail

### Stufe 1: Extraktion & Klassifikation (LLM)

**Extrahierte Kategorien:** AI_Literacies, Generative_KI, KI_Sonstige, Bias_Ungleichheit, Gender, Diversitaet, Fairness
**Argumente:** 3 extrahiert

### Stufe 4: Assessment

**LLM:** Include (Confidence: 0.92)
**Human:** Include

## Key Concepts

- [[Algorithmic Bias]]

## Wissensdokument

# Prejudiced interactions with large language models (LLMs) reduce trustworthiness and behavioral intentions among members of stigmatized groups

## Kernbefund

Mitglieder stigmatisierter Gruppen (Black Americans, Frauen) berichten höheres Vertrauen in LLMs nach unvoreingenommenen Interaktionen; Vertrauen erklärt erhöhte Nutzungsabsichten bei stigmatisierten Gruppen. Umgekehrt nutzen White Americans und Männer LLMs vermehrt, wenn KI-generierte Vorurteile ihre impliziten Biases bestätigen.

## Forschungsfrage

Wie beeinflussen vorurteilsbehaftete Reaktionen von Large Language Models die Vertrauenswürdigkeit und Nutzungsabsichten von Mitgliedern stigmatisierter Gruppen?

## Methodik

Empirisch: 3 preregistrierte experimentelle Studien mit Online-Manipulation von ChatGPT-Interaktionen, Messungen von Vertrauen, Verhaltensziele, implizite und explizite Bias-Messungen (IAT, Modern Sexism Scale), Mediationsanalysen mit PROCESS-Makro
**Datenbasis:** Experiment 1: n=237 (Black Americans, White Americans); Experiment 2: n=300 Frauen; Experiment 3: n=221 Student:innen mit Oversampling von Männern

## Hauptargumente

- AI-generierte Vorurteile in LLMs wirken sich differenziell auf stigmatisierte Gruppen aus: Während marginalisierte Gruppen bei unverzerrten Responses höheres Vertrauen zeigen, verstärken vorurteilsbehaftete Outputs bei privilegierten Gruppen die Nutzungsintention, wenn diese ihre impliziten Biases bestätigen.
- Vertrauenswürdigkeit (trustworthiness) fungiert als kritischer Mediator zwischen Exposition gegenüber KI-generierten Vorurteilen und Nutzungsabsichten, aber NUR bei stigmatisierten Gruppen – bei privilegierten Gruppen spielt Vertrauen keine Vermittlerrolle.
- Technologische Disparitäten in der Adoption von LLMs könnten durch strukturelle AI-Biases verstärkt werden, was bereits bestehende berufliche und bildungsbezogene Ungleichheiten weiter verschärft, insbesondere da LLMs in Bildung und Arbeit integriert werden.

## Kategorie-Evidenz

### Evidenz 1

Adapting to emerging AI technologies will be essential for academic success among students, in addition to remaining competitive while seeking employment. [...] those who fail to incorporate these emerging technologies into their learning and professional development may lag behind.

### Evidenz 2

Access to large language models (LLMs) has proliferated, providing sophisticated tools capable of simulating detailed and accurate conversations (e.g., ChatGPT). [...] LLMs are often trained on text which contain harmful biases against disadvantaged and stigmatized groups.

### Evidenz 3

Amazon having used algorithms preferring men for technical jobs (e.g., software developers) while disregarding female applicants due to their gender. [...] algorithms assessing Black defendants are likely to predict higher rates of future violent crimes compared to White defendants.

### Evidenz 4

Implicit biases adversely impact stigmatized groups [...] With 42% of organizations using AI to automate business analytics, customer service, and hiring decisions [...] action is needed to understand how algorithms which contain implicit biases may impact engagement with LLMs among stigmatized social groups.

### Evidenz 5

Women's performance is negatively impacted when interviewed by men with implicit gender biases (e.g., women as incompetent). [...] Men are more likely to own two or more smart home devices than women, in addition to perceiving devices as more useful and reporting greater intentions to use this technology.

### Evidenz 6

Members of stigmatized social groups (Black Americans, women) reported higher trustworthiness of LLMs after viewing unbiased interactions with ChatGPT [...] addressing AI-generated prejudice could minimize social disparities in adoption of LLMs which might further exacerbate professional and educational disparities.

### Evidenz 7

Trustworthiness is the perception of several characteristics of a trustee [...] integrity captures agreement between the user's values and principles and those of the LLM (e.g., adherence to ethics). Thus, LLMs trained on data containing prejudices may reduce trustworthiness among stigmatized group members due to violating these factors.

## Assessment-Relevanz

**Domain Fit:** Das Paper ist hochrelevant für die Schnittstelle AI/Soziale Arbeit/Gender, da es zeigt, wie algorithmische Vorurteile die Technologieadoption bei stigmatisierten Gruppen beeinflussen – ein zentrales Thema für sozialarbeiterische Praxis und Gerechtigkeit. Es adressiert kritisch, wie KI-Systeme soziale Disparitäten reproduzieren und verstärken können.

**Unique Contribution:** Das Paper erweitert Technologieakzeptanzmodelle um den Mechanismus der Vertrauenswürdigkeit und zeigt differential effects: dass Fairness in KI-Systemen nicht neutral wirkt, sondern je nach sozialem Status der Nutzer:innen gegensätzliche Effekte haben kann.

**Limitations:** Experimentelle Manipulation mit stilisierten Szenarien; Fokus auf US-amerikanische Kontexte; Student:innen-Stichproben; keine Langzeit-Effekte untersucht; Frage nach Generalisierbarkeit auf andere KI-Systeme und Anwendungsdomänen bleibt offen.

**Target Group:** KI-Entwickler:innen und UX-Designer:innen, Policymaker im Bildungs- und Beschäftigungssektor, Forscher:innen zu Technologiegerechtigkeitsfragen, Sozialwissenschaftler:innen zur Ungleichheit, Diversity- und Inclusion-Spezialist:innen in Organisationen, Nutzer:innen marginalisierter Gruppen

## Schlüsselreferenzen

- [[Mayer_Cohen_Schoorman_1995]] - Trustworthiness: Ability, Benevolence, Integrity
- [[Davis_1989]] - Technology Acceptance Model
- [[Venkatesh_Morris_Davis_Davis_2003]] - Unified Theory of Acceptance and Use of Technology (UTAUT)
- [[Greenwald_Krieger_Krehbiel_2022]] - Implicit Biases: Consequences and Remedies
- [[Angwin_Larson_Mattu_Kirchner_2016]] - Machine Bias in Criminal Justice Algorithms
- [[CriadoPerez_2019]] - Invisible Women: Data Bias in a World Designed for Men
- [[Abid_Farooqi_Zou_2021]] - Persistent Anti-Muslim Bias in Large Language Models
- [[Chen_Zhang_Bengio_Liphardt_Bengio_2022]] - Fairness and Bias in Facial Recognition Technology
