---
title: Clinical trial of an LLM-based conversational AI psychotherapy
authors:
  - M. V. Heinz
  - J. Fernandez-Mendoza
  - G. Semien
  - R. Brown
  - N. C. Jacobson
year: 2024
type: journalArticle
doi: 
url: "https://ai.nejm.org/doi/full/10.1056/AIoa2400802"
tags:
  - paper
llm_decision: Exclude
llm_confidence: 0.95
llm_categories:
  - Generative_KI
---

# Clinical trial of an LLM-based conversational AI psychotherapy

## Transformation Trail

### Stufe 1: Extraktion & Klassifikation (LLM)

**Extrahierte Kategorien:** Generative_KI, KI_Sonstige, Soziale_Arbeit, Bias_Ungleichheit, Gender, Diversitaet, Fairness
**Argumente:** 3 extrahiert

### Stufe 3: Verifikation (LLM)

| Metrik | Score |
|--------|-------|
| Completeness | 88 |
| Correctness | 92 |
| Category Validation | 85 |
| **Overall Confidence** | **88** |

### Stufe 4: Assessment

**LLM:** Exclude (Confidence: 0.95)

## Wissensdokument

# Randomized Trial of a Generative AI Chatbot for Mental Health Treatment

## Kernbefund

Therabot-Nutzer zeigten signifikant größere Symptomreduktionen für MDD (d=0.845-0.903), GAD (d=0.794-0.840) und CHR-FED (d=0.627-0.819) mit hoher Engagement-Rate (>6 Stunden durchschnittliche Nutzung) und therapeutischer Allianz vergleichbar mit menschlichen Therapeuten.

## Forschungsfrage

Ist ein generativ-KI-basierter Chatbot (Therabot), der auf expertengefertigten therapeutischen Dialogen basiert, wirksam bei der Behandlung klinisch signifikanter Symptome von Depression, Angststörungen und Essstörungen?

## Methodik

Empirisch – randomisierte kontrollierte Studie (RCT) mit 1:1 Allokation zu Interventions- (N=106) oder Wartelisten-Kontrollgruppe (N=104) über 8 Wochen. Stratifizierung nach Diagnosegruppe (MDD, GAD, CHR-FED). Primäre Outcomes: PHQ-9, GAD-Q-IV, WCS. Cumulative-link mixed models für Analyse.
**Datenbasis:** N=210 nationale Stichprobe (37.14% männlich, 59.52% weiblich, 2.86% nichtbinär); rekrutiert via Meta Ads März-Mai 2024; klinisch signifikante Symptome bei MDD, GAD oder CHR-FED

## Hauptargumente

- Generativ-KI-basierte Chatbots können die bestehenden Lücken in der psychiatrischen Versorgung durch Skalierbarkeit, Personalisierung und verbesserte Nutzerengagement schließen, die bisherige regelbasierte Systeme nicht erreicht haben.
- Fine-tuned LLMs (Falcon-7B, LLaMA-2-70B) mit dritten-Wellen-CBT-Trainingsdaten und mehrfachen Guardrails (Krisenerkennung, menschliche Supervision) können therapeutische Wirksamkeit mit hoher Sicherheit kombinieren.
- Therabot demonstriert vergleichbare therapeutische Allianz-Ratings mit humanen Therapeuten und hohe Akzeptanz, was die Machbarkeit von Gen-AI für mentale Gesundheitskommunikation belegt, obwohl längerfristige Studien und Validation in größeren Samples notwendig sind.

## Kategorie-Evidenz

### Evidenz 1

Therabot is a Gen-AI chatbot trained using expertly written therapist-patient dialogues based on third-wave CBT... utilizing transformer-based, decoder-only architectures. The system employed both Falcon-7B and LLaMA-2-70B models in tandem.

### Evidenz 2

Crisis classification model, guard rails implementation, post-transmission supervision by trained clinicians; conversational agent architecture for natural language processing.

### Evidenz 3

Addresses mental health treatment accessibility and scalability gaps... digital therapeutics for treatment of major depressive disorder, generalized anxiety disorder, and eating disorders... developed with psychiatrist and clinical psychologist oversight for evidence-based (CBT) modalities.

### Evidenz 4

We help mitigate selection bias by planning equivalent contact between groups... given our recruitment strategy, there was potential for selection bias toward younger, more technologically minded participants... monetary incentive may have introduced selection bias favoring financially motivated participants.

### Evidenz 5

Table 2 reports gender distribution: Female 59.52%, Male 37.14%, Nonbinary 2.86%, Other 0.48%; transgender status reported (3.81% yes). Sexual orientation categories included (heterosexual 79.05%, homosexual/gay 5.71%, bisexual 10.00%, pansexual 1.90%, asexual 0.48%).

### Evidenz 6

Nationally recruited, demographically diverse sample... Meta Ads campaign shown to represent varied age, education, and gender groups... diverse baseline characteristics across intervention and control groups... recruitment across United States.

## Assessment-Relevanz

**Domain Fit:** Hochgradig relevant für die Schnittstelle KI und Soziale Arbeit: demonstriert praktische Anwendung von Gen-AI in klinischer Versorgung mit Fokus auf Zugänglichkeit und Skalierung von Therapien für unterversorgte Populationen. Die Analyse von Nutzungsmustern und Diversität bietet wichtige Erkenntnisse für sozialarbeiterische Digital-Health-Interventionen.

**Unique Contribution:** Erste randomisierte kontrollierte Studie, die Wirksamkeit und Sicherheit eines vollständig generativ-KI-basierten Therapie-Chatbots mit großen Effektgrößen und vergleichbarer therapeutischer Allianz zu menschlichen Therapeuten demonstriert.

**Limitations:** Begrenzte Follow-up-Periode (4 Wochen postintervention), potenzielle Selektionsbias durch Meta-Ads-Rekrutierung (jüngere, technologieaffine Teilnehmer), fehlende langfristige Dauerhaftkeitsanalysen, kleine bis mittlere Stichprobengröße.

**Target Group:** Psychiater und klinische Psychologen, Sozialarbeiter im Mental-Health-Bereich, Digital-Health-Entwickler, Health Policy Maker, Informatiker im Gesundheitswesen, Forscher zu KI und Mental Health, Klinikadministratoren, Patienten-Advocacy-Gruppen

## Schlüsselreferenzen

- [[Fitzpatrick_Darcy_Vierhile_2017]] - Delivering cognitive behavior therapy to young adults using Woebot (rule-based chatbot RCT)
- [[Cuijpers_Karyotaki_Eckshtain_et_al_2020]] - Psychotherapy for depression across age groups (meta-analysis)
- [[Van_Dis_Van_Veen_Hagenaars_et_al_2020]] - Long-term outcomes of CBT for anxiety-related disorders (meta-analysis)
- [[Hayes_Hofmann_2021]] - Third-wave cognitive and behavioral therapies and process-based approach
- [[Henson_Peck_Torous_2019]] - Therapeutic alliance in digital mental health interventions
- [[Huibers_Cuijpers_2015]] - Common (nonspecific) factors in psychotherapy
- [[De_Freitas_Cohen_2024]] - Health risks of generative AI-based wellness apps
- [[Pentina_Hancock_Xie_2023]] - Exploring relationship development with social chatbots (Replika study)
