Von ChatGPT-Plus zu Firmen-Claude auf Bedrock — der Migrations-Guide

Die Ausgangslage fast jeder deutschen Firma 2026

Situation die ich immer wieder sehe: Die Firma hat ChatGPT-Plus nie offiziell eingeführt. Aber 40 Prozent der Mitarbeiter haben private Accounts und kopieren täglich Firmen-Daten rein. Der Datenschutz-Beauftragte weiß davon. Die Geschäftsführung weiß davon. Niemand will ihn erklären warum es so ist — aber keiner will darauf verzichten dass ChatGPT tatsächlich Arbeit abnimmt.

Die Shadow-IT-Situation bei LLMs ist das größte DSGVO-Risiko das wir 2026 sehen. Ein einziger Mitarbeiter der einen Kundenbrief zur Korrektur reinkopiert, und die Firma hat eine meldepflichtige Datenpanne nach Art. 33 DSGVO — ohne dass sie's weiß.

Dieser Artikel zeigt den Migrations-Weg zu einer Firmen-Lösung die tatsächlich funktioniert. Kein Proxy-Block. Keine Deaktivierung. Stattdessen: saubere Alternative die die Leute freiwillig nutzen.

Die Ziel-Architektur

Was wir am Ende haben:

User (Mitarbeiter)
     ↓
Browser: chat.firma.de (intern gehostet)
     ↓
Open WebUI (oder LibreChat, Anything LLM)
     ↓
Keycloak (SSO mit Firmen-AD/Entra)
     ↓
AWS Bedrock (EU-Central-1 Frankfurt)
     ↓
Claude Opus 4.7 / Sonnet 4.6 / Haiku 4.5

Keine Daten verlassen die EU. Jeder Zugriff ist identifiziert. Logs sind im Firmen-Kontext. Der AV-Vertrag ist mit AWS, nicht mit OpenAI (die Firmen AV nur für Enterprise-Accounts anbieten die teuer sind).

Warum Bedrock statt direkt Anthropic

Die direkte Anthropic-API hat 2026 immer noch Grauzonen in der DSGVO-Behandlung. Die Datenverarbeitung läuft in den USA, der Data Privacy Framework ist politisch wacklig, und der deutsche AV-Vertrag ist schwerer verhandelbar.

AWS Bedrock in Frankfurt hat drei harte Vorteile:

• Verarbeitung in EU. Deine Prompts und Responses verlassen EU-Central-1 nicht.
• Standard-AV mit AWS. Den habt ihr wahrscheinlich schon. Lesestunde, keine Neu-Verhandlung.
• Kein Training auf euren Daten. AWS garantiert das vertraglich bei Bedrock standardmäßig.

Die Qualität ist identisch. Claude Opus 4.7 über Bedrock ist dasselbe Modell wie über die direkte Anthropic-API.

Die sechs Phasen der Migration

Phase 1 — Bestandsaufnahme (Woche 1)

Bevor du irgendwas migrierst: Zählen. Wer nutzt aktuell was. Anonyme Umfrage, ehrlich kommuniziert ("wir wollen das ersetzen, keine Abmahnungen"). In der Regel erhälst du drei Cluster:

• Power-User (10-20 Prozent): ChatGPT-Plus privat, tägliche Nutzung, starke Bindung
• Gelegenheits-User (30-40 Prozent): ChatGPT kostenlos, sporadisch, einfache Aufgaben
• Nicht-Nutzer (40-60 Prozent): noch nicht eingestiegen, aber neugierig

Das Cluster-Verhältnis bestimmt deine Roll-out-Strategie.

Phase 2 — AWS Account + Bedrock aktivieren (Woche 1)

AWS Account haben die meisten Firmen. Falls nicht: Business-Account anlegen, AV-Vertrag prüfen, EU-Billing einrichten.

Bedrock aktivieren in der Region eu-central-1 (Frankfurt). Model-Access beantragen für:

• Claude Opus 4.7
• Claude Sonnet 4.6
• Claude Haiku 4.5

Der Approval dauert normalerweise 1-3 Tage, manchmal länger. In dieser Zeit kann man das Frontend vorbereiten.

IAM-User für die Anwendung mit minimalen Rechten:

{
  "Version": "2012-10-17",
  "Statement": [{
    "Effect": "Allow",
    "Action": ["bedrock:InvokeModel", "bedrock:InvokeModelWithResponseStream"],
    "Resource": [
      "arn:aws:bedrock:eu-central-1::foundation-model/anthropic.claude-opus-4-7-v1:0",
      "arn:aws:bedrock:eu-central-1::foundation-model/anthropic.claude-sonnet-4-6-v1:0",
      "arn:aws:bedrock:eu-central-1::foundation-model/anthropic.claude-haiku-4-5-v1:0"
    ]
  }]
}

Phase 3 — Open WebUI aufsetzen (Woche 2)

Open WebUI ist das "ChatGPT für deine Infrastruktur." Open Source, gut gepflegt, bringt das User-Interface mit das die Mitarbeiter schon kennen.

Docker-Deployment auf einer internen VM (Hetzner Frankfurt oder eigenes Rechenzentrum):

# docker-compose.yml (gekürzt)
services:
  open-webui:
    image: ghcr.io/open-webui/open-webui:0.5.20
    container_name: openwebui
    environment:
      - WEBUI_SECRET_KEY=<random-string>
      - ENABLE_SIGNUP=false
      - ENABLE_OAUTH_SIGNUP=true
      - OAUTH_CLIENT_ID=<keycloak-client>
      - OAUTH_CLIENT_SECRET=<keycloak-secret>
      - OPENID_PROVIDER_URL=https://auth.firma.de/realms/firma
    ports:
      - "3000:8080"
    volumes:
      - open-webui-data:/app/backend/data

Open WebUI kann nativ Bedrock via eine Proxy-Konfiguration. Alternativ LiteLLM als Proxy davor, das ist flexibler.

Phase 4 — Single Sign-On via Keycloak

Firmen mit Active Directory oder Entra ID wollen SSO. Keycloak ist der Standard-Open-Source-Zugang. Wer schon Azure AD oder Okta hat, kann die direkt anbinden.

Das Ziel: Mitarbeiter melden sich einmal mit ihrem Firmen-Account an, und sind drin. Keine neuen Passwörter. Keine separate User-Verwaltung.

Phase 5 — System-Prompts und Guardrails

Hier wird es spannend. Du willst die Nutzung nicht kontrollieren — aber du willst bestimmte Regeln durchsetzen.

Beispiel System-Prompt der für alle User gilt:

Du bist der Firmen-KI-Assistent für [Firmenname].
Du bist vertraulich und professionell.

Wenn der User sensitive Daten eingibt (Personendaten, Kundendaten,
Passwörter, API-Keys), weise ihn darauf hin dass diese Daten in
unseren Logs gespeichert werden und empfehle ihn zu anonymisieren.

Gib niemals Informationen über interne Systeme, Produkte oder
Mitarbeiter preis, die nicht bereits öffentlich bekannt sind.

Open WebUI erlaubt Team-spezifische System-Prompts. Die Marketing-Abteilung bekommt andere als die Entwicklung.

Phase 6 — Roll-out und Kommunikation

Technik ist das einfache. Change-Management ist das Schwere.

Drei Regeln die ich bei Kunden durchsetze:

Soft-Launch mit den Power-Usern zuerst. Die sind Multiplikatoren. Wenn sie sagen "funktioniert gut", kommt der Rest nach.

Explizite Kommunikation dass das die offizielle Lösung ist. Nicht "wir testen mal" — sondern "ab heute ist das der einzige offizielle Weg." Die privaten Accounts können bleiben, aber Firmen-Daten gehen nur hier rein.

Eine Woche Übergangszeit für Fragen. Ich setz mich für ein paar Tage in einem Meeting-Raum hin, wer Fragen hat kommt rein. Das spart unendlich E-Mail-Tickets.

Die Kosten — was das tatsächlich kostet

Basis-Kostenblock für eine Firma mit 50 aktiven Usern, durchschnittliche Nutzung:

| Posten | Monatlich | |---|---| | Claude Opus (20% der Nutzung) | ca. 80 € | | Claude Sonnet (50% der Nutzung) | ca. 120 € | | Claude Haiku (30% der Nutzung) | ca. 15 € | | Hetzner Cloud VM für Open WebUI | 16 € | | Keycloak VM | 8 € | | SSL + Monitoring | 10 € | | Gesamt | ca. 249 € |

Zum Vergleich: 50 x ChatGPT-Plus = 50 x 20 € = 1000 €. Die Bedrock-Lösung ist also grob 75 Prozent billiger. Plus DSGVO-konform. Plus im eigenen Log.

Der Haken: Einmalige Setup-Kosten für dein internes Team oder externe Dienstleister. Das sind typischerweise 5000-15.000 € je nach Komplexität. Break-even also nach 5-20 Monaten gegenüber ChatGPT-Plus.

Was nicht klappt

Drei Punkte wo ich Kunden ehrlich warne:

Erstens: Die Fine-Tuning-Erwartung. Manche denken sie können das Modell auf ihre Firmendaten trainieren. Bedrock erlaubt Fine-Tuning nur für bestimmte Modelle, und für Claude ist das (Stand April 2026) nicht verfügbar. Die sauberen Workflows gehen über System-Prompts plus RAG, nicht Fine-Tuning.

Zweitens: File-Upload-Erwartung. User wollen PDFs hochladen und fragen stellen. Open WebUI kann das grundsätzlich, aber die Qualität hängt stark vom Parser ab. Für gescannte PDFs brauchst du OCR-Pipeline davor. Das ist zusätzliche Arbeit.

Drittens: Der "das war bei ChatGPT schneller"-Effekt. Die ersten zwei Wochen werden User sagen dass die Firmen-Lösung langsamer wirkt. Das liegt daran dass sie die Latenz von ChatGPT gewöhnt sind. Bedrock hat vergleichbare Latenz, aber die gefühlte Performance hängt vom Setup ab. Manchmal muss man das Streaming aggressiver konfigurieren.

Was nach dem Roll-out kommt

Ein gutes LLM-Setup ist kein Projekt — es ist ein Produkt das wächst. Nach drei Monaten siehst du Muster:

• Welche Teams nutzen was am meisten?
• Welche Anfragen kommen ständig wieder? (→ kandidaten für eigene Tools / MCP-Server)
• Wo wird die Lösung nicht verwendet? (→ welches Team hat noch Vorbehalte?)

Die Daten sind ein Goldschatz für Intern-Optimierung — wenn man sie datenschutzkonform auswertet.

Wer das machen sollte

• Firmen mit 30+ Mitarbeitern wo ChatGPT-Shadow-IT real ist
• Firmen in regulierten Branchen (Gesundheit, Finanzen, Rechtsberatung, Versicherungen)
• Öffentliche Träger — da ist Datenschutz nicht verhandelbar
• Firmen mit internationalen Kunden die eigene Daten-Handling-Anforderungen stellen

Für kleinere Firmen unter 20 Leuten ist der Setup-Aufwand zu hoch. Besser direkt eine der Managed-Options (wie Anthropic Claude for Work) nehmen.

Weiterlesen

Für die Auswahl zwischen den Modellen siehe ChatGPT-Alternativen für deutsche Firmen. Für die Security-Dimension deiner LLM-Apps siehe Prompt-Injection-Defense. Ein konkreter Praxis-Fall in kleinerem Setup: Handwerker spart 18h/Woche.

Eigene Firma vor ähnlicher Migration? Zone "Business & Automation" im Discord — wir besprechen sowas vertraulich und mit konkreten Zahlen.