„Kann die KI nicht einfach unser Firmenwissen lernen?“ – diese Frage hören wir oft. Die Antwort ist meist: Sie muss es gar nicht lernen. Sie muss es nur finden. Genau das ist die Idee hinter RAG.
Wie RAG funktioniert – in drei Schritten
- Vorbereiten: Ihre Dokumente – Handbücher, Verträge, Richtlinien, Produktdaten, Protokolle – werden in Abschnitte zerlegt und so gespeichert, dass sie nach Bedeutung durchsucht werden können, nicht nur nach Stichworten. Technisch geschieht das in einer Vektordatenbank, bei uns zum Beispiel mit PostgreSQL und pgvector.
- Suchen: Stellt jemand eine Frage, sucht das System die passendsten Abschnitte heraus – auch wenn andere Worte verwendet werden als im Dokument.
- Antworten: Ein Sprachmodell bekommt die Frage und die gefundenen Abschnitte und formuliert daraus eine Antwort. Es nennt dabei die Quellen, damit jeder nachprüfen kann.
Warum nicht einfach ein Modell trainieren?
Ein eigenes Training oder Feintuning ist aufwendig, teuer und schlecht nachvollziehbar: Man sieht nicht, woher eine Antwort stammt, und jede Änderung im Dokument erfordert neues Training. RAG ist dagegen sofort aktuell – ein neues Dokument wird einfach hinzugefügt. Und weil die Quelle mitgeliefert wird, lassen sich Antworten prüfen.
Wofür sich RAG eignet
- Interner Wissensassistent: „Wie ist der Ablauf bei einer Reklamation?“ – mit Verweis auf die Arbeitsanweisung.
- Kundenservice: Antwortentwürfe auf Basis von Handbüchern, Produktdaten und früheren Tickets.
- Vertragsprüfung: Klauseln in vielen Verträgen finden und vergleichen.
- Technische Dokumentation: Montageanleitungen, Datenblätter und Normen per Frage durchsuchen.
- Einarbeitung: Neue Mitarbeitende finden Antworten, ohne Kolleginnen ständig zu fragen.
Worauf es ankommt
Gute Dokumente. RAG findet, was da ist. Veraltete oder widersprüchliche Dokumente führen zu veralteten oder widersprüchlichen Antworten. Ein Aufräumen vor dem Start lohnt sich.
Zugriffsrechte. Nicht jeder darf alles sehen. Ein gutes System berücksichtigt, wer welche Dokumente lesen darf – die Personalakte gehört nicht in die Antwort für die Werkstatt.
Ehrlichkeit bei Lücken. Findet das System keine passende Quelle, soll es das sagen, statt etwas zu erfinden. Das lässt sich einstellen und testen.
Datenschutz. Bei sensiblen Inhalten laufen Suche und Modell in Deutschland oder auf Ihren eigenen Servern. Ihre Daten werden nicht zum Training fremder Modelle verwendet. Mehr dazu in unserem Beitrag zu DSGVO und der Wahl des Anbieters.
Vom Wissensassistenten zum Agenten
RAG ist oft der erste Baustein. Kombiniert mit Werkzeugen – Zugriff auf ERP, Kalender oder Ticketsystem – wird daraus ein KI-Agent, der nicht nur antwortet, sondern Aufgaben vorbereitet. Beispiele dafür finden Sie in unserem Beitrag zu KI-Agenten im Mittelstand.