„Wir wollen ChatGPT mit unseren Daten verbinden.” Diese Anfrage erreicht uns 2026 fast täglich. Oft steckt dahinter ein Missverständnis darüber, was ChatGPT eigentlich ist und welche Wege es gibt, ein Sprachmodell mit Unternehmensdaten zu verheiraten. Dieser Beitrag erklärt die vier sinnvollen Architekturen — und welche zu welcher Situation passt.
1. Das häufige Missverständnis
ChatGPT als Produkt (chat.openai.com) ist ein Konsumenten-Frontend vor einem Sprachmodell von OpenAI. Wenn Sie dort tippen, geht Ihr Text an einen US-Server. Diese Variante ist für sensible Unternehmensdaten nicht geeignet — selbst wenn ein einzelner Mitarbeitender es im Hintergrund tut.
Was viele eigentlich wollen, wenn sie »ChatGPT mit unseren Daten« sagen: ein internes KI-System, das wie ChatGPT funktioniert, aber Ihre Daten kennt und nicht an OpenAI schickt. Dafür gibt es vier sinnvolle Wege.
2. Weg 1: ChatGPT-API mit System-Prompt
Die einfachste Variante: Sie nutzen die ChatGPT-API von OpenAI in einer eigenen Anwendung und geben dem Modell über den System-Prompt Kontext — z. B. einen Auszug aus Ihrem FAQ-Dokument. Das Modell antwortet auf dieser Basis.
Pro: Schnell zu bauen, gute Modellqualität. Contra: Kontextfenster ist begrenzt; nicht alle Daten passen rein. Datenschutzrechtlich heikel ohne AVV. US-Cloud.
Geeignet für unkritische Daten, kleine Wissensbestände, schnelle Prototypen.
3. Weg 2: RAG mit ChatGPT
RAG (Retrieval-Augmented Generation) löst das Kontextproblem: zur Laufzeit werden die relevanten Textstellen aus einer Datenbank geholt und dem Modell zusammen mit der Frage übergeben. Das Modell antwortet auf Basis dieser Texte.
Pro: Skaliert auf große Wissensbestände; Quellenangaben möglich; transparent. Contra: Erfordert sauberes Engineering (siehe sieben Wege, wie RAG in Produktion versagt); bei OpenAI-Backend immer noch US-Cloud-Frage.
Mehr Grundlagen in unserem Beitrag RAG einfach erklärt. Geeignet für die meisten Wissens- und FAQ-Anwendungen.
4. Weg 3: Fine-Tuning
Bei Fine-Tuning passt man die Modellgewichte dauerhaft an, indem man es auf eigenen Beispieldaten weitertrainiert. Das Modell lernt Stil und Domänenwortschatz, nicht aber spezifische Fakten — Fakten gehören in RAG.
Pro: Das Modell „klingt” wie Ihre Domäne; bei wiederkehrenden Mustern (z. B. Angebotsschreiben) sehr wirkungsvoll. Contra: Kostet Training, Daten und Evaluation. Bei OpenAI ist Fine-Tuning eingeschränkt und teuer. Mit Open-Weight-Modellen (Llama, Mistral) deutlich flexibler.
Für die meisten Unternehmen sind LoRA-Adapter der bessere Weg als ein Full-Fine-Tuning.
5. Weg 4: Eigenes LLM (Private GPT)
Statt ChatGPT betreiben Sie ein offenes Modell (Llama-3, Mistral, Mixtral) selbst — auf eigenen Servern oder bei einem deutschen Hoster. Sie kombinieren das mit RAG und ggf. LoRA-Adaptern.
Pro: Keine US-Cloud, volle DSGVO-Konformität, BYOLLM-fähig, kein Vendor-Lock-in. Bei hoher Nutzung wirtschaftlicher als API-Abos. Contra: Höhere Anfangsinvestition; Modellqualität bei sehr komplexen Aufgaben (noch) leicht unter GPT-4-Niveau, für 80% der Geschäftsanwendungen aber mehr als ausreichend.
Wir empfehlen diese Variante allen Unternehmen mit sensiblen Daten, klaren Compliance-Anforderungen oder mittlerem bis hohem Nutzungsvolumen — siehe unsere Übersicht zum souveränen AI-Stack 2026.
6. Die vier Wege im Vergleich
| Architektur | Datenschutz | Aufwand | Kosten (laufend) | Vendor-Lock |
|---|---|---|---|---|
| 1. API + Prompt | kritisch | gering | mittel-hoch | hoch |
| 2. RAG + ChatGPT-API | mittel | mittel | mittel-hoch | hoch |
| 3. Fine-Tuning | hängt vom Modell ab | hoch | mittel | mittel |
| 4. Privates LLM | exzellent | hoch | nach Skalierung niedriger | keiner |
7. Unsere Empfehlung für 2026
Für deutsche Unternehmen mit Datenschutz-Anspruch ist die Kombination »Privates LLM + RAG« 2026 fast immer die richtige Wahl. Sie kombiniert sechs Vorteile: keine US-Cloud, Quellenangaben in den Antworten, Skalierung auf große Wissensbestände, vorhersagbare Kosten, kein Vendor-Lock-in und Erfüllung der DSGVO-Anforderungen an KI-Systeme.
Die Einstiegshürde ist nicht null — aber überschaubar. Ein erster Pilot mit einer Datenquelle und einem klaren Anwendungsfall (z. B. interner Wissensassistent) ist typischerweise in 6–10 Wochen produktiv. Wie das in der Praxis aussieht, beschreiben wir in Interner KI-Assistent für Teams.
Häufige Fragen.
/ 01Kann ich ChatGPT direkt mit meiner Firmendatenbank verbinden?
Technisch ja, datenschutzrechtlich problematisch. Eine direkte Verbindung würde bedeuten, dass Inhalte aus Ihrer Datenbank in jeden API-Call gehen — also zu OpenAI in die USA. Wir empfehlen stattdessen eine RAG-Architektur mit kontrollierten Datenflüssen oder ein privates LLM in Deutschland.
/ 02Was ist der Unterschied zwischen RAG und Fine-Tuning?
RAG liefert dem Modell relevante Texte als Kontext zur Laufzeit — das Modell lernt nichts dauerhaft. Fine-Tuning passt die Modellgewichte dauerhaft an Ihre Daten an. Für die meisten Wissens-Anwendungsfälle ist RAG der bessere Weg: günstiger, transparenter, leichter zu warten.
/ 03Darf ich personenbezogene Daten an die ChatGPT-API schicken?
Mit einem AVV (Auftragsverarbeitungsvertrag) und Opt-out aus dem Training grundsätzlich möglich, aber nicht trivial. Sicherer ist ein Vor-Filter, der personenbezogene Daten entfernt oder hasht, bevor sie das Modell sehen — oder ein privates LLM ganz ohne US-Cloud.
/ 04Was kostet ein Private GPT mit eigenen Daten?
Realistisch starten 30.000 bis 80.000 Euro für einen Proof-of-Value mit RAG-Architektur und einer ersten Datenquelle. Ein vollständiges privates Setup mit eigenem LLM und mehreren Datenquellen liegt typischerweise höher und ist erst ab einer gewissen Nutzungsmenge wirtschaftlich.
/ 05Brauche ich für ein Private GPT ein eigenes Rechenzentrum?
Nein. Drei Wege sind üblich: On-Premise (in Ihrem RZ), gehostet bei einem deutschen Anbieter (Hetzner, IONOS, OVHcloud Frankfurt), oder BYOLLM in Ihre bestehende Cloud. Was passt, hängt vom Datenschutzbedarf und vom Anfrage-Volumen ab.