LLM-Reflexion
LLM-Reflexionsvorlage
Leitfaden, Struktur und Bewertungskriterien für Ihre Reflexion über den Einsatz von Large Language Models im Entwicklungsprozess.
Warum eine LLM-Reflexion?
In dieser Lehrveranstaltung nutzen Sie Large Language Models (LLMs) aktiv als Coding-Assistenten. Die Reflexion ist kein bürokratischer Zusatz, sondern ein zentrales Lernwerkzeug: Sie zwingt Sie dazu, über Ihren eigenen Lernprozess nachzudenken, Ihre Prompt-Strategien zu analysieren und ein kritisches Bewusstsein für die Möglichkeiten und Grenzen von LLM-gestütztem Coding zu entwickeln.
Eine gute Reflexion zeigt, dass Sie nicht nur Code produziert haben, sondern verstehen, wie und warum dieser Code funktioniert — und wo die Grenzen der automatischen Generierung liegen.
1. Eingesetzte Werkzeuge
Beschreiben Sie, welche LLM-Tools Sie für dieses Assignment verwendet haben. Gehen Sie dabei auf folgende Punkte ein:
- Welche Tools haben Sie eingesetzt? (z. B. ChatGPT, Claude, GitHub Copilot, Cursor, andere)
- In welcher Form haben Sie das LLM genutzt? (Chat-Interface, IDE-Integration, CLI-Tool)
- Warum haben Sie sich für diese(s) Tool(s) entschieden?
- Haben Sie verschiedene Tools verglichen? Wenn ja, was waren die Unterschiede?
Schreibtipp
Seien Sie konkret. Statt "Ich habe ChatGPT benutzt" schreiben Sie z. B.: "Ich habe Claude (claude.ai) als Chat-Interface für konzeptionelle Fragen und GitHub Copilot in VS Code für Code-Vervollständigung genutzt. Für CSS-Layout-Probleme war das Chat-Interface hilfreicher, weil ich den Kontext besser beschreiben konnte."
2. Prompt-Dokumentation
Dokumentieren Sie konkrete Prompt-Interaktionen. Zeigen Sie den Prompt, das Ergebnis und — wo nötig — Ihre Iterationen. Je nach Assignment werden unterschiedlich viele Beispiele erwartet:
| Assignment | Anzahl Prompt-Beispiele | Schwerpunkt |
|---|---|---|
| Assignment 1 | Mindestens 1 gelungenes + 1 problematisches | Erste Erfahrungen |
| Assignment 2 | Mindestens 3 Prompt-Dialoge mit Iterationen | Iterativer Prozess, Debugging |
| Assignment 3 | Erste vs. letzte Interaktion + freie Auswahl | Entwicklung über das Semester |
Format für die Prompt-Dokumentation
Verwenden Sie das folgende Format, um Ihre Prompt-Interaktionen zu dokumentieren. Sie können die Darstellung anpassen, aber die wesentlichen Elemente sollten enthalten sein:
Prompt-Beispiel: [Kurze Beschreibung des Ziels]
Kontext: [Was haben Sie versucht zu erreichen? In welcher Situation waren Sie?]
Prompt:
[Ihr Prompt-Text hier]LLM-Antwort (Zusammenfassung): [Was hat das LLM geantwortet? Ggf. gekürzt.]
Bewertung: [Hat es funktioniert? Was war gut/schlecht?]
Iteration (falls nötig): [Wie haben Sie den Prompt verbessert?]
Schreibtipp
Sie müssen nicht die gesamte LLM-Antwort kopieren. Fassen Sie zusammen und zitieren Sie nur relevante Codeausschnitte. Wichtiger als die vollständige Dokumentation ist Ihre Analyse: Was hat funktioniert und warum? Was nicht und warum nicht?
3. Analyse: Was hat funktioniert?
Beschreiben Sie Situationen, in denen die LLM-Unterstützung besonders hilfreich war. Nutzen Sie die folgenden Leitfragen:
- Bei welchen Aufgaben war das LLM am hilfreichsten?
- Welche Art von Prompts hat die besten Ergebnisse geliefert?
- Gab es Situationen, in denen das LLM schneller oder besser war als Sie selbst?
- Hat das LLM Ihnen Konzepte erklärt, die Sie vorher nicht verstanden haben?
- Konnten Sie durch das LLM Techniken einsetzen, die Sie ohne Hilfe nicht angewendet hätten?
Schreibtipp
Vermeiden Sie pauschale Aussagen wie "Das LLM war sehr hilfreich". Schreiben Sie stattdessen:
"Das LLM war besonders hilfreich beim Erstellen des CSS-Grid-Layouts. Mein Prompt 'Erstelle
ein responsives Grid mit 3 Spalten, das auf Mobilgeräten zu einer Spalte wird' lieferte auf
Anhieb funktionierenden Code. Ohne das LLM hätte ich die grid-template-columns-Syntax
erst nachschlagen müssen."
4. Analyse: Was hat nicht funktioniert?
Ebenso wichtig sind die Fälle, in denen das LLM keine guten Ergebnisse geliefert hat. Analysieren Sie:
- Welche Prompts haben nicht das gewünschte Ergebnis geliefert? Warum nicht?
- Hat das LLM fehlerhaften Code generiert? Was war der Fehler?
- Gab es "Halluzinationen" — hat das LLM APIs oder Funktionen erfunden, die nicht existieren?
- Hat das LLM den Kontext Ihres Projekts nicht verstanden? Wie haben Sie das gelöst?
- Gab es Fälle, in denen Sie schneller gewesen wären, wenn Sie selbst recherchiert hätten?
Schreibtipp
Probleme zu dokumentieren ist kein Zeichen von Schwäche, sondern von Reflexionsfähigkeit.
Beschreiben Sie genau, was schiefgelaufen ist und wie Sie das Problem letztlich gelöst haben.
Gute Reflexionen zeigen den Debugging-Prozess: "Der generierte Code verwendete
document.querySelector auf ein Element, das zum Zeitpunkt der Ausführung
noch nicht existierte. Ich musste den Code in einen DOMContentLoaded-Listener
verschieben."
5. Lerneffekte
Reflektieren Sie, was Sie durch die Arbeit mit dem LLM gelernt haben. Unterscheiden Sie zwischen verschiedenen Arten des Lernens:
Technische Lerneffekte
- Welche HTML/CSS/JavaScript-Konzepte haben Sie durch die LLM-Ausgaben besser verstanden?
- Welche Techniken oder Patterns haben Sie entdeckt, die Sie vorher nicht kannten?
- Können Sie den generierten Code inzwischen besser lesen und verstehen als zu Beginn?
Methodische Lerneffekte
- Wie hat sich Ihre Prompt-Strategie verändert?
- Haben Sie gelernt, Probleme anders zu zerlegen oder zu beschreiben?
- Können Sie besser einschätzen, wann ein LLM hilft und wann nicht?
Kritische Lerneffekte
- Haben Sie gelernt, LLM-Ausgaben kritischer zu hinterfragen?
- Können Sie Fehler im generierten Code schneller erkennen?
- Sind Sie sich der Grenzen von LLMs bewusster als zu Beginn?
Schreibtipp
Benennen Sie konkrete Lernmomente. Statt "Ich habe viel über CSS gelernt" schreiben Sie:
"Durch die LLM-Ausgabe habe ich verstanden, dass position: sticky nur
funktioniert, wenn das Elternelement eine definierte Höhe hat. Das LLM hatte Code
generiert, der nicht funktionierte, und erst beim Debugging habe ich diese Zusammenhänge
verstanden."
6. Bewertungskriterien für die Reflexion
Die folgende Tabelle zeigt, was eine Reflexion auf verschiedenen Qualitätsstufen auszeichnet. Orientieren Sie sich an den Kriterien für "Gut" und "Sehr gut".
| Kriterium | Ausreichend | Gut | Sehr gut |
|---|---|---|---|
| Konkretheit | Allgemeine Aussagen ohne Beispiele | Einzelne konkrete Beispiele mit Prompts | Mehrere detaillierte Beispiele mit Iterationen und Code-Ausschnitten |
| Analyse-Tiefe | Beschreibung des Ablaufs | Analyse von Ursachen und Wirkungen | Kritische Reflexion mit Vergleich, Einordnung und Transferwissen |
| Ehrlichkeit | Nur positive Aspekte | Probleme werden benannt | Offene Analyse von Fehlern und Grenzen, eigene Verantwortung reflektiert |
| Lernfortschritt | Nicht erkennbar | Allgemeiner Fortschritt beschrieben | Konkrete Vorher-Nachher-Vergleiche mit Belegen |
| Sprache | Verständlich, aber unpräzise | Klar und strukturiert | Präzise, gut strukturiert, fachlich korrekt |
Wichtiger Hinweis
Die Reflexion wird auf Eigenständigkeit geprüft. Eine Reflexion, die offensichtlich vollständig von einem LLM generiert wurde, kann nicht positiv bewertet werden. Nutzen Sie das LLM gerne als Schreibhilfe (Formulierung, Struktur), aber die Inhalte — Ihre Erfahrungen, Ihre Beispiele, Ihre Analyse — müssen authentisch sein.
7. Beispiel: Guter Reflexionsabsatz
Das folgende Beispiel zeigt, wie ein Abschnitt einer gelungenen Reflexion aussehen kann. Beachten Sie die Konkretheit, die Einbettung von Code-Beispielen und die kritische Analyse.
Prompt-Beispiel: Responsive Navigation
Beim Erstellen der responsiven Navigation bin ich auf ein Problem gestoßen, das mir die Grenzen meines ersten Prompt-Ansatzes gezeigt hat. Mein erster Prompt lautete: "Mache die Navigation responsive." Die Antwort enthielt eine vollständige Hamburger-Menu-Implementierung mit JavaScript, die allerdings einen
classList.toggleverwendete, den ich zu diesem Zeitpunkt noch nicht kannte und daher nicht debuggen konnte, als das Menü nicht korrekt schloss.In meinem zweiten Anlauf war ich spezifischer: "Ich habe eine horizontale Navigation mit 5 Links. Auf Bildschirmen unter 768px soll die Navigation vertikal untereinander angezeigt werden. Verwende nur CSS mit einem Media Query, kein JavaScript." Das Ergebnis war ein einfacheres, funktionierendes CSS-Only-Layout, das ich vollständig verstanden habe.
Dieser Fall hat mir zwei Dinge gezeigt: Erstens, dass spezifischere Prompts einfacheren und verständlicheren Code liefern. Zweitens, dass es sinnvoll ist, Anforderungen zu formulieren, die meinem aktuellen Kenntnisstand entsprechen, damit ich den generierten Code auch nachvollziehen und anpassen kann.
Was macht dieses Beispiel gut?
- Konkret: Es nennt den genauen Prompt-Text und das Problem.
- Iterativ: Es zeigt den Lernprozess vom ersten zum zweiten Prompt.
- Analytisch: Es formuliert zwei konkrete Erkenntnisse.
- Ehrlich: Es beschreibt ein Problem, nicht nur Erfolge.
- Transferfähig: Die Erkenntnisse sind auf andere Situationen übertragbar.
Checkliste vor der Abgabe
Prüfen Sie vor der Abgabe, ob Ihre Reflexion die folgenden Punkte erfüllt:
- Die Reflexion hat den geforderten Umfang (je nach Assignment: 500-800 / 800-1200 / 1500-2000 Wörter).
- Die eingesetzten LLM-Werkzeuge sind benannt und beschrieben.
- Mindestens ein konkretes Prompt-Beispiel ist dokumentiert (mit Prompt-Text).
- Sowohl gelungene als auch problematische Erfahrungen sind beschrieben.
- Konkrete Lerneffekte sind formuliert (nicht nur "Ich habe viel gelernt").
- Die Reflexion ist eigenständig verfasst (nicht vollständig LLM-generiert).
- Die Reflexion ist als Datei im GitHub-Repository enthalten.
- Rechtschreibung und Formatierung sind geprüft.
Zusätzlich für Assignment 2
- Mindestens 3 Prompt-Dialoge sind dokumentiert (inkl. Iterationen).
- Der Debugging-Prozess mit LLM-Unterstützung ist beschrieben.
- Die Prompt-Qualität wird verglichen: Anfang des Semesters vs. jetzt.
Zusätzlich für Assignment 3
- Der gesamte Agentic-Coding-Workflow ist beschrieben.
- Die 7 AI-Coding-Literacy-Dimensionen sind analysiert (CT, RE, CE, PE, CL, RV, EW).
- Erste vs. letzte LLM-Interaktion des Semesters werden verglichen.
- Eine ethische Reflexion über Grenzen von LLM-gestütztem Coding ist enthalten.
- Die Entwicklung der Prompt-Kompetenz über das gesamte Semester wird reflektiert.