Der Day-2-Problem: Warum AI-Projekte in der Praxis scheitern
Jedes Team mit AI-Ambitionen kennt das Szenario: Das Proof-of-Concept läuft einwandfrei. Das Demo funktioniert. Dann, nach wenigen Tagen oder Wochen in der Produktion, fangen die Systeme an zu bröckeln. Die LLM-Outputs werden instabil, die Qualität sinkt, die Fehlerquoten steigen. Genau diesen Punkt beschreibt die n8n-Community als Day-2-Problem.
Es ist nicht die Frage, ob dein AI-Projekt brechen wird – sondern wann. Und dieses unbequeme Wissen sollte bereits in der Planungsphase eine zentrale Rolle spielen.
Was ist das Day-2-Problem überhaupt?
Das Day-2-Problem beschreibt die Diskrepanz zwischen der kontrollierten Umgebung eines Proof-of-Concepts und der messy Realität, wenn ein AI-System wirklich arbeiten muss:
- Prompt Instabilität: Ein Prompt funktioniert heute großartig, morgen liefert das gleiche LLM völlig andere Ergebnisse.
- Modell-Updates: OpenAI, Anthropic oder andere Provider updaten ihre Modelle – und dein System bricht zusammen.
- Edge Cases: In der Demo hast du mit sauberen, idealisierten Daten gearbeitet. Im echten Betrieb kommen die seltsamen, unerwarteten Eingaben.
- Latenz und Kosten: Das System war günstig in der Planung, wird aber in der Skalierung zum Budget-Killer.
- Fehlende Observability: Du weißt nicht wirklich, was intern schiefgeht.
Die kritischen Fragen vor Day 1
Anstatt nach Tag 7 zu merken, dass du ein Problem hast, solltest du folgende Fragen bereits in der Planungsphase durchdenken:
1. Wie wird dein System überwacht?
Observability ist nicht optional. Bevor du auch nur eine API-Anfrage sendest, brauchst du:
- Logging auf Prompt- und Output-Ebene: Was wird eingegeben, was kommt raus?
- Quality Metrics: Wie misst du überhaupt Erfolg? Ein LLM kann grammatikalisch korrekt sein und trotzdem inhaltlich Unsinn liefern.
- Automated Alerts: Wenn die Fehlerquote plötzlich von 2% auf 15% springt – du musst es sofort wissen.
- User Feedback-Loops: Das System sollte lernen, wenn Nutzer falsche Outputs flaggen.
2. Wie reagierst du auf Prompt Drift?
Dein sorgfältig gestalteter Prompt funktioniert heute. Aber:
- Wird das Modell jemals geupgradet? Wenn ja: Getestet du den Prompt mit der neuen Version?
- Führst du A/B-Tests durch oder nutzt du nur ein Prompt-Variant?
- Wie schnell kannst du die Prompt anpassen, wenn die Qualität sinkt?
Gute Praktiken:
- Prompt Versioning: Tracke deine Prompts wie Code mit Git.
- Automated Testing: Ein Testsuite mit vordefinierten In- und Outputs, die dein Prompt bestehen muss.
- Rollback-Plan: Falls ein neues Modell-Update alles zerstört – wie gehst du zurück?
3. Wo sind deine inhaltlichen Grenzen?
LLMs sind generisch. Dein Use-Case nicht. Deshalb:
- Input-Validierung: Was lässt du das System überhaupt verarbeiten? Wenn es nur mit Texten arbeiten soll – blockst du Bilder?
- Output-Constraints: Kann das Modell nur deutschsprachig antworten? Nur positive Antworten? Nur in JSON-Format?
- Explizite Rejections: Was sollte das System aktiv ablehnen?
4. Wie scalst du wirtschaftlich?
AI kostet. Token-für-Token. Deshalb:
- Cost Monitoring: Wie viel kostet eine einzelne Anfrage? Wie teuer wird es bei 10.000 Anfragen täglich?
- Model Alternatives: Ist GPT-4 nötig oder reicht ein lokales Open-Source-Modell? Was ist der Tradeoff zwischen Kosten und Qualität?
- Caching & Batching: Lassen sich wiederholte Anfragen deduplizieren?
5. Wer trägt Verantwortung, wenn es schiefgeht?
Bei traditioneller Software ist die Antwort klar. Bei AI nicht:
- Wer reviewed die AI-Outputs? (Menschen müssen immer im Loop sein.)
- Wo ist die Grenze zwischen AI-Empfehlung und Automatisierung?
- Wie dokumentierst du deine Due Diligence?
Day-2 konkret: Was häufig schiefgeht
Szenario 1: Das LLM gibt plötzlich halluziniert Daten aus, die es erfinden soll. Die Qualität sinkt unmerklich über Wochen, bis am Ende keiner die Outputs mehr traut.
Szenario 2: OpenAI deprecated dein Modell. Das neue Modell ist schneller, aber kostet mehr und hat andere Verhaltensweisen. Dein Prompt funktioniert nicht mehr.
Szenario 3: Die API wird regelmäßig überlastet (besonders bei neuen Modellen). Dein System hängt in Timeouts.
Szenario 4: Ein Nutzer findet einen Edge Case, der den Prompt "jailbreakt" – und das System gibt Dinge aus, die es absolut nicht sollte.
Alle diese Szenarien sind nicht überraschend. Sie sind Erwartungen. Die Frage ist nur: Hast du einen Plan dafür?
Das Muster: Day 1 ist einfach
Jeder kann einen LLM-API-Call machen. Die erste Woche sieht großartig aus.
Aber ein produktives AI-System bedeutet:
- Robustheit gegen Modell-Änderungen
- Kontinuierliches Monitoring
- Fallback-Strategien
- Dokumentation und Audit-Trails
- Menschliches Oversight
- Kostenmanagement
Das ist nicht sexy. Aber es ist die Differenz zwischen einem coolen Demo und einem System, das wirklich arbeitet.
Fazit: Fang mit den richtigen Fragen an
Bevor du Code schreibst, beantworte diese Fragen:
- Wie überwache ich Quality und Kosten?
- Wie reagiere ich, wenn das Modell schiefgeht?
- Welche Eingaben/Ausgaben sind erlaubt?
- Wer entscheidet am Ende – Mensch oder Maschine?
- Wie teste ich, dass mein System morgen noch funktioniert?
Day 2 ist unvermeidlich. Aber Day 3 muss nicht ein Notfall sein.