Was ist RAG (Retrieval-Augmented Generation)?
RAG, für Retrieval-Augmented Generation, ist ein Verfahren, das im Moment einer Frage die passenden Stellen Ihrer eigenen Dokumente heraussucht und sie dem Sprachmodell übergibt, damit es aus diesen Stellen antwortet statt allein aus seinem Trainingsgedächtnis.
Definition
RAG — Retrieval-Augmented Generation — ist ein Verfahren, das im Moment einer Frage die passenden Stellen bestehender Dokumente heraussucht und sie dem Sprachmodell übergibt, damit es seine Antwort aus diesen Stellen bildet.
Der wesentliche Punkt passt in einen Satz: Ihre Dokumente werden vom Modell nicht gelernt. Sie werden bei Bedarf herangezogen, für die Dauer einer Antwort, so wie eine Juristin vor der Antwort das Dossier aufschlägt, statt sich auf ihr Gedächtnis zu verlassen.
Das Problem, das es löst
Ein Sprachmodell kennt nur, was es im Training gesehen hat. Es kennt weder Ihre Verträge noch Ihre internen Abläufe, Ihre Ansätze oder die Geschichte Ihrer Kunden. Trotzdem gefragt, erzeugt es eine glaubwürdig klingende Antwort — im besten Fall allgemein, im schlechtesten falsch, aber überzeugend.
RAG behebt das, indem es die Antwort in echten Quellen verankert, was zugleich erlaubt, das Ursprungsdokument zu nennen. Diese Nachvollziehbarkeit ist oft wertvoller als die Antwort selbst: sie macht Überprüfung möglich.
Die zwei Phasen von RAG
1. Die Indexierung, einmalig
- Sammeln der Dokumente: PDF, Textdateien, interne Seiten, archivierte E-Mails.
- Text herauslösen, bei eingescannten Dokumenten mit OCR.
- Zerlegen in Abschnitte sinnvoller Grösse. Zu fein verliert den Zusammenhang, zu grob ertränkt die nützliche Information.
- Embeddings berechnen: jeder Abschnitt wird in eine numerische Darstellung überführt, die seine Bedeutung verortet.
- Ablegen in einer Vektordatenbank, die rasch die Abschnitte findet, die einer Frage am nächsten liegen.
2. Die Abfrage, bei jeder Frage
- Die Frage wird mit demselben Verfahren in ein Embedding überführt.
- Die Datenbank liefert die nächstliegenden Abschnitte zurück.
- Diese Abschnitte gelangen in den Kontext des Modells, zusammen mit der Anweisung, daraus zu antworten.
- Das Modell formuliert und kann angeben, aus welchem Dokument welches Element stammt.
Ein Detail ändert viel: die Suche nach Bedeutungsnähe findet eine Stelle über «vorzeitige Auflösung» auch dann, wenn die Frage von «den Vertrag früher beenden» spricht. Das unterscheidet RAG von einer Stichwortsuche.
Eine Anwalts- und Notariatskanzlei sammelt über Jahrzehnte Urkunden, Korrespondenz und Entscheide. Herauszufinden, wie ein vergleichbarer Fall behandelt wurde, setzt voraus, dass man von ihm weiss und sich erinnert, in welchem Dossier er steckt.
Mit einem RAG-Index bringt eine Frage in Alltagssprache — «hatten wir schon ein bestrittenes Wegrecht nach einer Parzellenteilung?» — die betreffenden Stellen und die Dossiernummern zurück. Die Analyse bleibt beim Juristen; gewonnen wird, nicht mehr vom Gedächtnis abzuhängen, um zu wissen, wo zu suchen ist.
RAG oder Fine-Tuning?
Die beiden Ansätze werden oft zu Unrecht gegeneinandergestellt: sie beantworten verschiedene Fragen.
| RAG | Fine-Tuning | |
|---|---|---|
| Was es verändert | Was das Modell im Antwortmoment weiss | Wie das Modell antwortet |
| Aktualisierung | Sofort: Dokument neu indexieren | Verlangt ein neues Training |
| Nachvollziehbarkeit | Die Quelle kann genannt werden | Keine erkennbare Quelle |
| Anfangskosten | Mässig | Hoch |
| Guter Einsatz | Unternehmenseigenes Wissen, das sich ändert | Ton, Format, gleichbleibende Fachsprache |
Für die grosse Mehrheit betrieblicher Bedürfnisse — aus internen Dokumenten antworten — ist RAG die passende Antwort. Fine-Tuning wird relevant, wenn das Problem nicht das Wissen ist, sondern die Form.
Grenzen und Risiken
- Die Qualität hängt ganz an der Suche. Kommen die richtigen Stellen nicht hoch, antwortet das Modell daneben, mit derselben Bestimmtheit, als hätte es recht.
- Veraltete Dokumente. Ein Index, der die alte und die neue Fassung einer Weisung enthält, erzeugt widersprüchliche Antworten. Dokumentenpflege kommt vor RAG.
- Tabellen und komplexe Layouts widersetzen sich dem Zerlegen: eine in zwei Teile geschnittene Tabelle verliert ihren Sinn.
- Zugriffsrechte. Ein Index, der ignoriert, wer was sehen darf, kann einem Mitarbeitenden Inhalte liefern, die nicht für ihn bestimmt waren. Berechtigungen müssen bis in die Suche hinein gelten.
- Übergreifende Fragen. «Wie viele Verträge laufen dieses Quartal aus?» ist eine Datenbankfrage, keine RAG-Frage. Ähnlichkeitssuche zählt nicht.
Wann RAG passt
Ja, wenn die nützliche Information bereits als Text vorliegt, verstreut ist, sich ändert, und die Fragen vielfältig und frei formuliert sind.
Nein, wenn die Information bereits in einer strukturierten Datenbank steht — eine Abfrage ist zuverlässiger und sofort — oder wenn der Bestand klein genug ist, um direkt gelesen zu werden.
Häufige Fragen
Trainiert RAG das Modell auf meinen Dokumenten?
Nein. Ihre Dokumente verändern das Modell nicht: sie werden gesucht und für die Dauer einer Antwort in den Kontext der Frage gelegt.
Beseitigt RAG falsche Antworten?
Es verringert sie, indem es die Antwort in echten Quellen verankert, und erlaubt es, das Ursprungsdokument zu nennen. Es beseitigt sie nicht: eine schlecht gefundene Stelle ergibt eine schlecht begründete Antwort.
Wie viele Dokumente braucht es, damit es sich lohnt?
RAG wird interessant, sobald die Menge übersteigt, was eine Person bei Bedarf durchlesen kann, oder sobald die Information über mehrere Quellen verstreut ist.