ACTIVE

Applied Generative LLM and Prompt Engineering in Research Project Management

562.033 | VU | 2 SWS | 4 ECTS | WS 2025/26

University of Graz Master 8 Sessions Dienstags, 09:00-11:30 SR 81.31

Diese Lehrveranstaltung erforscht die Integration von Large Language Models (LLMs) in Digital Humanities Forschungsworkflows und Projektmanagement. Studierende entwickeln einen datengetriebenen Forschungsblog zu einem DH-Thema ihrer Wahl und bauen darauf aufbauend ein Forschungstool-Projekt auf. Der Kurs nutzt einen Blended Learning Ansatz mit Präsenzarbeit und asynchronen Arbeitsaufträgen.

Zentrale Konzepte

Der Kurs basiert auf drei innovativen Ansätzen der KI-gestützten Entwicklung:

  • Vibe Coding: Ein KI-gestützter Programmieransatz, bei dem Aufgaben durch kurze Beschreibungen an LLMs übertragen werden, die eigenständig Code generieren
  • Promptotyping: Ein dreistufiges Framework zur methodisch strukturierten, LLM-gestützten Konzeption und Entwicklung digitaler Werkzeuge
  • Critical-Expert-in-the-Loop: Eine kritisch-epistemische Reflexionsebene, die sowohl menschliche Prüfung als auch maschinelle Selbstkritik umfasst

Zentrale Dokumentation: Prompt Engineering Journal

Alle Studierenden führen ein kompaktes Prompt Engineering Journal, das ihre Arbeit mit LLMs dokumentiert und reflektiert. Dieses Journal ist das zentrale Bewertungsdokument und dokumentiert:

  • Verwendete Tools und Prompting-Strategien
  • Iterationen und Verbesserungen
  • Kritische Reflexion über Wissen und Erkenntnisse

Blended Learning Ansatz

Die Lehrveranstaltung kombiniert Präsenzarbeit mit asynchronen Arbeitsaufträgen. In den Präsenzsitzungen liegt der Fokus auf Präsentationen, Feedback und praktischen Workshops. Zwischen den Sitzungen arbeiten Studierende selbstständig an ihren Projekten.

Kurs-Zugang & LLM-Tools

Moodle-Kurs: https://moodle.uni-graz.at/course/view.php?id=134313

Universitäts-LLM für Studierende:

Lehrveranstaltungsleiter: Christopher Pollin

Institut: Zentrum für Digitale Geisteswissenschaften, Universität Graz

Unterrichtssprache: Deutsch

Learning Outcomes

  • LLMs kritisch für Forschungszwecke einsetzen
  • Effektive Prompting-Strategien entwickeln
  • Forschungstools prototypisch implementieren
  • Projekte auf GitHub dokumentieren und verwalten
  • Limitationen und Potenziale von LLMs einschätzen
  • Wissenschaftliche Standards bei LLM-Nutzung wahren

Prerequisites

  • Interesse an Digital Humanities Forschung
  • Grundlegende Computerkenntnisse
  • Offenheit für experimentelle Arbeitsweisen

Sessions

Sitzung 1

Wir prompten einen Forschungsblog

Einführung: Was können LLMs in der Forschung? Praktisches Arbeiten mit LLM-Tools und gemeinsames Prompten eines Forschungsblogs

Materialien:

Aktivitäten:

  • Auswahl eines vertrauten, datengetriebenen DH-Themas
  • Entwicklung einer Forschungsfrage mit LLM-Unterstützung
  • Erstellung eines ersten Blogposts
  • Recherche von 3 relevanten wissenschaftlichen Ressourcen

Assignment bis zur nächsten Sitzung:

  • Forschungsblog ausarbeiten
  • 3 Ressourcen integrieren und dokumentieren
  • Projektidee entwickeln
  • Tools und Prompting dokumentieren
Sitzung 2

Pitch der Projektidee & technische Grundlagen

Pitches der Projektideen, Grundlagen LLM und Prompt Engineering, GitHub Basics

Materialien:

Aktivitäten:

  • Kurz-Präsentationen der Forschungsblogs (Pitch)
  • Peer-Feedback und Iteration der Ideen
  • GitHub Repository einrichten
  • GitHub Pages aktivieren (.md Format)

Nach dem Feedback:

  • Studierende iterieren über ihre Ideen
  • Anpassung basierend auf Peer-Feedback
  • Dokumentation der Änderungen im Journal
Sitzung 3

Projektstrukturierung auf GitHub

Strukturierte Projektplanung, erweiterte Prompting-Techniken, Repository-Organisation

Materialien:

Aktivitäten:

  • Projekt auf GitHub strukturiert anlegen
  • README als lebendiges Dokument
  • Meilensteine definieren
  • Dokumentation der Prompting-Strategien
Sitzung 4

Prototyp-Entwicklung beginnen

Von der Planung zur Implementierung, Code-Generierung mit LLMs

Aktivitäten:

  • Erste Prototyp-Komponenten entwickeln
  • Vibe Coding: exploratives Arbeiten mit LLMs
  • Peer-Programming Sessions
  • Journal-Einträge zu Erfolgen und Misserfolgen
Sitzung 5

Integration und Verfeinerung

Komponenten zusammenführen, Testing und Debugging mit LLM-Support

Aktivitäten:

  • Prototyp funktionsfähig machen
  • Code-Review mit Peers
  • Dokumentation auf GitHub aktualisieren
Sitzung 6

Kritische Reflexion

LLM-Limitationen verstehen, Bias und Halluzinationen, wissenschaftliche Standards

Aktivitäten:

  • Gruppendiskussion über Erfahrungen
  • Analyse von Fehlschlägen
  • Best Practices entwickeln
  • Journal-Reflexion über gewonnenes Wissen
Sitzung 7

Finalisierung

Letzte Verbesserungen, Präsentationsvorbereitung, Peer-Testing

Aktivitäten:

  • Prototypen gegenseitig testen
  • Feedback einarbeiten
  • Präsentationen vorbereiten
  • Journal finalisieren
Sitzung 8

Showcase

Projektpräsentationen, Live-Demonstrationen, Lessons Learned

Aktivitäten:

  • Präsentationen mit Fokus auf Ergebnisse
  • Reflexion der Arbeit mit LLMs
  • Diskussion über gewonnenes Wissen
  • Peer-Feedback

Theoretischer Rahmen & Methodik

Vibe Coding & Vibe Engineering

Der Begriff "Vibe Coding" wurde von Andrej Karpathy (Mitbegründer von OpenAI) eingeführt und beschreibt einen KI-gestützten Programmieransatz, bei dem man sich "ganz den Vibes hingibt" - informelle, sprachliche Anweisungen werden von LLMs in funktionalen Code umgesetzt. Diese Methode zeigt bereits Proto-AGI-Merkmale wie abstraktes Transferlernen und autonome Problemzerlegung.

Promptotyping Framework

Promptotyping ist ein dreistufiges Framework zur methodisch strukturierten, LLM-gestützten Entwicklung:

  1. Prompt Engineering: Systematische Entwicklung effektiver Prompts
  2. Iteratives Requirements Engineering: Schrittweise Verfeinerung der Anforderungen
  3. Kritisch-epistemische Reflexion: Kontinuierliche Bewertung und Hinterfragung

Critical-Expert-in-the-Loop

Ein zentrales Problem von LLMs ist ihre "Sycophancy" - die Tendenz zur unkritischen Zustimmung. Der Critical-Expert-in-the-Loop-Ansatz erfordert eine doppelte Reflexionsschleife:

  • Menschliche Prüfung und Validierung
  • Maschinelle Selbstkritik durch "Critical Questioning" oder "Poking"

Praktisches Beispiel: Timeline-Annotations-Tool

In einem zweistündigen Experiment mit Claude Sonnet 4 entstand ein funktionsfähiges Timeline-Annotationstool für das Stefan Zweig Digital Projekt. Dies demonstriert die Effizienz strukturierten Vibe Codings bei vorhandenen Forschungsdaten und konkreten Zielen.

Weiterführende Literatur:

  • Karpathy, A. (2025). "Vibe Coding" - Ursprungstweet und Konzepteinführung
  • Pollin, C. (2025). "Promptotyping: Von der Idee zur Anwendung". Digital Humanities Craft
  • Chen, W. et al. (2025). "From Yes-Men to Truth-Tellers: Addressing Sycophancy in Large Language Models"
  • Anthropic (2025). "Constitutional AI" - Explizite Werteprinzipien in der KI-Entwicklung

Deliverables

Forschungsblog

Type: Individual

Anforderungen:

  • Datengetriebenes DH-Thema
  • Integration von mindestens 3 wissenschaftlichen Ressourcen
  • Iterative Entwicklung dokumentiert
  • Auf GitHub Pages veröffentlicht

Prototyp

Type: Individual/Group

Anforderungen:

  • Funktionales Tool/Workflow
  • Code auf GitHub
  • Dokumentation
  • Implementiert die Forschungsidee

Prompt Engineering Journal

Type: Individual

Zentrales Bewertungsdokument:

  • Kompaktes Dokument
  • Dokumentation aller verwendeten Tools
  • Prompting-Strategien und deren Evolution
  • Kritische Reflexion über Wissen und Erkenntnisse
  • Erfolge und Misserfolge

Bewertung

Projektidee und Pitch 20%

Präsentation der Forschungsblog-Idee

Projektplanung und Strukturierung 20%

GitHub-Organisation und Meilensteine

Prototyp und Implementation 25%

Funktionaler Prototyp mit Dokumentation

Prompt Engineering Journal 25%

Zentrales Bewertungsdokument mit Reflexion

Präsentation und Reflexion 10%

Showcase und kritische Auseinandersetzung

Resources

Essential Tools

  • ChatGPT Plus/Team

    Primäres KI-Tool für den Kurs

    Institutionelle Lizenz wird bereitgestellt
  • Claude

    Alternative KI zum Vergleich

    Kostenlose Version ausreichend
  • GitHub

    Versionskontrolle und Projektmanagement

    Kostenlos für Studierende
  • VS Code

    Code-Editor mit KI-Erweiterungen

    Kostenlos

Recommended Reading

Grundlagen ohne LLM-Unterstützung

  • Projektmanagement Grundlagen für DH

    Klassische Projektmanagement-Methoden: Projektstrukturplan (PSP), Planungswerkzeuge, hierarchische Aufgliederung. Basiert auf etablierten PM-Standards ohne KI-Integration.

    [Grundlagen-Dokument]
  • Anforderungsanalyse & Requirements Engineering

    Systematischer Prozess zur Stakeholder-Anforderungsanalyse in DH-Projekten. User-Centered Design, heterogene Datenintegration, Langzeitarchivierung. Beispiel: DEPCHA Projekt.

    [Methodisches Fundament]
  • LLM-unterstütztes Projektmanagement Grundlagen

    Brücke zwischen klassischem PM und KI-Integration. Werkzeuge, Planungsmethoden und deren Anwendung im DH-Kontext. Referenz: Cremer et al. 2024.

    [Übergangskonzept]

LLM-gestützte Methoden & Konzepte

  • Vibe Coding: "Haters gonna hate"

    Kritische Analyse der Vibe-Coding-Methodik, ihrer Grenzen und Proto-AGI-Potenziale. Diskutiert technische Schuld, Wartbarkeit und die Transformation vom Programmieren zum Orchestrieren.

    [Blog-Artikel - Digital Humanities Craft]
  • Promptotyping: Von der Idee zur Anwendung

    Dreistufiges Framework zur methodisch strukturierten, LLM-gestützten Konzeption und Entwicklung digitaler Werkzeuge für die Forschungspraxis.

    [Blog-Artikel - Digital Humanities Craft]
  • Critical Vibing with Claude 4

    Praktisches Experiment zur Erstellung eines Timeline-Annotationstools für Stefan Zweig Digital. Demonstriert die Notwendigkeit eines Critical-Expert-in-the-Loop zur Zähmung der sycophantischen Neigung von LLMs.

    [Blog-Artikel mit umfangreichen Fußnoten]
  • System 1.42

    Framework für die systematische Integration von LLMs in Forschungsworkflows.

    [Blog-Artikel - Digital Humanities Craft]
  • LLM in DH - Einführung

    Umfassendes Vorlesungsmanuskript zu Large Language Models in den Digital Humanities.

    [Vorlesungsmanuskript]

Supplementary Materials

Arbeitsweise

  • Blended Learning mit Präsenz- und Selbstlernphasen
  • Iterative Entwicklung nach Feedback
  • Peer-Learning und -Feedback
  • Fokus auf praktische Anwendung
  • Kritische Reflexion durchgehend

Erwartete Kompetenzen

Nach Abschluss der Lehrveranstaltung können Studierende:

  • LLMs kritisch für Forschungszwecke einsetzen
  • Effektive Prompting-Strategien entwickeln
  • Forschungstools prototypisch implementieren
  • Projekte auf GitHub dokumentieren und verwalten
  • Limitationen und Potenziale von LLMs einschätzen
  • Wissenschaftliche Standards bei LLM-Nutzung wahren