Retrieval Augmented Generation (RAG) ist ein Verfahren, bei dem ein KI-Sprachmodell vor der Antwort relevante Informationen aus einer externen Wissensquelle abruft und in seine Antwort einbezieht. Statt nur auf Trainingsdaten zu vertrauen, greift das Modell auf aktuelle Dokumente, Datenbanken oder Websites zu. RAG macht KI-Antworten aktueller, überprüfbarer und deutlich weniger anfällig für Halluzinationen.
Wie funktioniert Retrieval Augmented Generation?
RAG kombiniert zwei Schritte: Zuerst sucht ein Retrieval-System zur Nutzerfrage passende Textstellen aus einer Wissensbasis — etwa Firmendokumenten, FAQ-Sammlungen oder einer Fachdatenbank. Die Dokumente werden dafür vorab in Abschnitte zerlegt und als sogenannte Embeddings gespeichert, die eine inhaltliche Ähnlichkeitssuche ermöglichen.
Im zweiten Schritt erhält das Sprachmodell die gefundenen Textstellen zusammen mit der Frage als Kontext und formuliert daraus eine Antwort. Das Modell antwortet also nicht aus dem Gedächtnis, sondern auf Basis konkreter, mitgelieferter Quellen — die es im Idealfall auch zitiert.
Warum ist RAG wichtig?
RAG löst zwei Kernprobleme von Sprachmodellen: veraltetes Wissen und Halluzinationen. Da die Antworten auf abgerufenen Dokumenten basieren, kann das System aktuelles Firmenwissen einbeziehen, ohne dass das Modell neu trainiert werden muss. Neue Inhalte stehen sofort zur Verfügung, sobald sie in der Wissensbasis liegen.
Gleichzeitig sinkt das Risiko erfundener Fakten deutlich, weil das Modell angewiesen ist, sich auf die gelieferten Quellen zu stützen. Antworten mit Quellenangabe lassen sich zudem überprüfen — ein entscheidender Vorteil überall dort, wo Verlässlichkeit zählt. Auch KI-Suchmaschinen wie Perplexity arbeiten nach diesem Prinzip.
RAG in Kanzleien und Unternehmen
Typische Anwendungen sind interne Wissensassistenten, die Fragen zu Firmendokumenten, Prozessen oder Produkten beantworten, sowie Chatbots auf Websites, die sich ausschließlich auf geprüfte eigene Inhalte stützen. Eine Kanzlei kann etwa einen internen Assistenten aufbauen, der Musterschreiben, Arbeitsanweisungen und Wissenssammlungen durchsuchbar macht — ohne dass vertrauliches Wissen in ein fremdes Modelltraining fließt.
Die Qualität eines RAG-Systems hängt vor allem von der Wissensbasis ab: gepflegte, aktuelle und gut strukturierte Dokumente liefern gute Antworten, veraltete oder widersprüchliche Inhalte schlechte. Datenpflege ist deshalb der wichtigste laufende Aufwand solcher Systeme.