- RAG verbindet ein Sprachmodell mit deinen Dokumenten: Antworten kommen aus deinem Wissen, nicht aus dem Internet.
- Die Qualität steht und fällt mit der Aufbereitung der Quellen - nicht mit der Modellgröße.
- DSGVO-konform machbar: EU-Hosting oder komplett on-premise mit Open-Source-Modellen.
Das Problem: Wissen in Ordnern und Köpfen
Jedes Unternehmen hat ihn: den Ordner-Dschungel aus Angeboten, Verträgen, Anleitungen und Protokollen - und die zwei Kollegen, die als einzige wissen, wo was steht. Die Folge: Dieselben Fragen werden immer wieder gestellt, dieselben Dokumente immer wieder gesucht.
Ein Sprachmodell allein löst das nicht. ChatGPT kennt deine Verträge nicht - und soll sie auch nicht kennen. Hier kommt RAG ins Spiel.
Wie RAG funktioniert
RAG steht für Retrieval-Augmented Generation - übersetzt: Erst nachschlagen, dann antworten. Der Ablauf in drei Schritten:
- 1. Aufbereiten: Deine Dokumente werden in Abschnitte zerlegt und als durchsuchbare Vektoren gespeichert - einmalig und bei jeder Änderung.
- 2. Nachschlagen: Bei einer Frage sucht das System die relevantesten Abschnitte aus deinem Bestand heraus.
- 3. Antworten: Das Sprachmodell formuliert die Antwort ausschließlich auf Basis dieser Fundstellen - idealerweise mit Quellenangabe.
Der entscheidende Unterschied zum reinen Chatbot: Das Modell wird nicht mit deinen Daten trainiert. Deine Dokumente bleiben in deiner Infrastruktur - das Modell sieht nur die Abschnitte, die zur aktuellen Frage passen.
Woran RAG-Projekte wirklich scheitern
Selten am Modell, fast immer an den Daten. Veraltete Dokumentversionen, PDFs aus dem Scanner ohne Textebene, Wissen, das nur in E-Mail-Verläufen existiert: Ein Assistent kann nur so gut antworten, wie der Bestand es hergibt.
Aus unseren Dokumenten-Projekten wissen wir: Der OCR- und Aufbereitungsschritt verdient mehr Aufmerksamkeit als die Modellwahl. Wer gescannte Belege verarbeitet, braucht eine Leseschicht, die auch Handschrift und schiefe Scans übersteht - erst dann lohnt die Diskussion über Modelle.
„Erst der Datenbestand, dann das Modell. Wer die Reihenfolge umdreht, baut einen sehr teuren Zufallsgenerator.“
DUNA Engineering-Grundsatz
Datenschutz: die gute Nachricht
RAG ist DSGVO-freundlich baubar: Hosting in der EU, Auftragsverarbeitung geregelt, keine Trainingsdaten-Weitergabe - und für sensible Fälle laufen Open-Source-Modelle komplett on-premise. Die Architekturfrage klärt sich nach Schutzbedarf, nicht nach Hype.
Der realistische Einstieg
Ein Pilot mit einem klar umrissenen Wissensbereich - FAQ, Produktdaten, Prozessdokumentation - steht in zwei bis vier Wochen. Danach entscheiden Zahlen: Wie oft wird gefragt, wie oft stimmt die Antwort, wie viel Suchzeit fällt weg. Ausgebaut wird, was sich beweist.
