KI mit den eigenen Dokumenten des Unternehmens (RAG), auch auf Ungarisch

Nach Einschätzung der Mesterséges Intelligencia Központ Kft., eines Softwareentwicklungsunternehmens in Budapest, liefert RAG überprüfbare Antworten aus Firmendokumenten: Das System sucht zuerst die relevanten Stellen, das Modell antwortet daraus mit Quelle, auch auf Ungarisch.

Das Wichtigste: Das Modell muss nicht mit den eigenen Daten trainiert werden: RAG gibt ihm im Moment der Frage die relevanten Stellen, und die Antwort nennt die Quelle. Die Qualität hängt davon ab, wie geordnet die Dokumente sind, wie genau die Suche ist und ob laufend gemessen wird; RAG funktioniert auch auf Ungarisch, muss aber an den eigenen ungarischen Fragen gemessen werden.

Was ist RAG, und woher kommt der Begriff?

RAG ist die Abkürzung für Retrieval-Augmented Generation, auf Deutsch etwa durch Suche ergänzte Textgenerierung. Der Begriff stammt aus einer 2020 veröffentlichten Studie von Patrick Lewis und Mitautoren mit dem Titel „Retrieval-Augmented Generation for Knowledge-Intensive NLP Tasks“. Die Autoren verbanden das sogenannte parametrische Gedächtnis eines vortrainierten Sprachmodells mit einem nichtparametrischen Gedächtnis: einem dichten Vektorindex der Wikipedia, auf den ein neuronaler Retriever zugriff.

Heute bezeichnet der Begriff allgemeiner eine Lösung, bei der das System zu einer Frage zuerst die nötigen Textstellen in einer Dokumentensammlung sucht und das Sprachmodell daraus die Antwort formuliert. Das eigene Wissen des Modells ändert sich dabei nicht: Das Material des Unternehmens erhält es im Moment der Frage. Daraus ergeben sich die drei praktischen Vorteile von RAG: Das Wissen lässt sich sofort aktualisieren, die Antwort kann ihre Quelle angeben, und die Suche lässt sich auf das beschränken, was die fragende Person sehen darf.

Wie funktioniert es? Sechs Schritte

Sammeln: Wir führen die Quellen an einem Ort zusammen: Dokumentenablage, Wiki, Ticketsystem, ein ausgewählter Teil des E-Mail-Verkehrs.
Aufteilen: Lange Dokumente werden in kleinere Abschnitte von einigen Absätzen (Chunks) zerlegt. Der Retrieval-Dienst von OpenAI zum Beispiel bildet standardmäßig Abschnitte von höchstens 800 Tokens mit einer Überlappung von 400 Tokens.
Embedding: Ein Embedding-Modell wandelt jeden Abschnitt in eine Zahlenfolge um, einen Vektor. Laut der Beschreibung von OpenAI deutet ein geringer Abstand zwischen den Vektoren auf eine große, ein großer Abstand auf eine geringe inhaltliche Verwandtschaft hin.
Suche: Dasselbe Modell wandelt die Frage in einen Vektor um, und das System sucht die Abschnitte, die ihr am nächsten liegen. Anthropic ergänzt in seiner Beschreibung von Contextual Retrieval die Suche nach Bedeutung um die wörtliche Schlüsselwortsuche BM25, weil diese exakte Ausdrücke (etwa Kennungen) besser findet; anschließend gibt ein Reranking-Schritt (Reranker) nur die relevantesten Abschnitte an das Modell weiter.
Filtern und Zusammenstellen: Von den gefundenen Abschnitten bleiben nur die, die auch die fragende Person sehen darf, und sie gelangen zusammen mit der Frage zum Modell.
Antwort mit Quellenangabe: Das Modell antwortet aus den erhaltenen Stellen und gibt an, woher es eine Aussage hat. Die Citations-Funktion von Anthropic verweist bei PDFs auf die Seitenzahl, bei reinem Text auf die Zeichenposition; die Dateisuche von OpenAI fügt in die Antwort eine Markierung ein, die auf die Quelldatei verweist.

Ein häufiger Fehler beim Aufteilen ist, dass ein Abschnitt seinen Zusammenhang verliert; davor warnt Anthropic in derselben Beschreibung. Aus einem Satz wie „Die Frist beginnt mit dem Zugang“ geht für sich genommen nicht hervor, um welchen Vertrag und welche Frist es geht. Deshalb lohnt es sich, jedem Abschnitt den Titel des Dokuments, die Kapitelüberschrift und das Datum hinzuzufügen, damit sowohl die Suche als auch das Modell den Kontext sehen.

RAG oder Fine-Tuning?

Fine-Tuning (Feinabstimmung) bedeutet, das Modell mit aufgabenspezifischen Daten weiterzutrainieren. Laut dem Leitfaden von OpenAI zur Genauigkeit liefert RAG den fachspezifischen Kontext, den eine Aufgabe braucht, und ist nötig, wenn das Wissen des Modells veraltet ist oder die Aufgabe die eigenen Informationen des Unternehmens erfordert; Fine-Tuning hilft dagegen, wenn die Ausgabe des Modells inkonsistent ist oder Format oder Tonfall nicht stimmen. Laut dem Leitfaden ergänzen sich die beiden Methoden und lassen sich auch gemeinsam einsetzen.

Kriterium	RAG	Fine-Tuning
Wofür	um dem Modell das Wissen des Unternehmens im Moment der Frage zu geben	um Verhalten, Form und Tonfall des Modells zu vereinheitlichen
Aktuelles Wissen	gilt nach der Aktualisierung des Dokuments, sobald der Index aktualisiert ist	erfordert ein neues Training
Quellenangabe	die Antwort kann auf die gefundene Stelle verweisen	zu Wissen, das in die Gewichte des Modells eingeflossen ist, gibt es keine Quellenangabe
Berechtigungen	pro Dokument filterbar	das antrainierte Wissen ist für alle Benutzer gleich
Zurückziehen eines Dokuments	das Dokument wird aus dem Index entfernt	seine Wirkung verschwindet erst mit einem neuen Training
Wann es sich lohnt	bei Firmendokumenten fast immer der Ausgangspunkt	wenn die Einheitlichkeit von Form oder Tonfall das Problem ist, zusätzlich zu RAG

Für Firmendokumente ist RAG deshalb der natürliche Ausgangspunkt. Die Frage, ob man „das Modell trainieren muss“, bedeutet meistens eigentlich: Wie erhält das Modell das Wissen des Unternehmens? Die Antwort darauf ist RAG.

Auch auf Ungarisch? Sprachunterstützung und gemischtsprachiges Material

Das antwortende Modell

Die Modelle der großen Anbieter verstehen und schreiben auch gut Ungarisch, ihre veröffentlichten Messungen der Sprachleistung decken das Ungarische aber nicht immer ab. Die Seite zur Mehrsprachigkeit von Anthropic veröffentlicht Messergebnisse für 14 Sprachen außer Englisch, Ungarisch ist nicht darunter (geprüft am 17. Oktober 2026); zugleich betont die Seite, dass Claude über die in der Tabelle aufgeführten hinaus in vielen Sprachen einsetzbar ist, empfiehlt, in den für die Anwendung wichtigen Sprachen zu testen, und rät, die Antwortsprache im Systemprompt festzulegen. Das entspricht auch unserer eigenen Erfahrung: Der Claude-basierte KI-Assistent auf unserer Startseite unterhält sich auf Ungarisch und in 13 weiteren Sprachen, aber jede neue Anwendung messen wir an ungarischen Fragen.

Das Embedding-Modell

Die Qualität der Suche hängt mindestens so sehr vom Embedding-Modell ab wie vom antwortenden Modell. Bei den großen Anbietern (geprüft am 17. Oktober 2026):

das Modell Gemini Embedding 2 von Google funktioniert laut Dokumentation in mehr als 100 Sprachen;
Anthropic bietet kein eigenes Embedding-Modell an, sondern verweist auf die Modelle von Voyage AI, von denen voyage-4 für allgemeine und mehrsprachige Suche optimiert ist;
der Embedding-Leitfaden von OpenAI stellt die Modelle text-embedding-3 vor, zählt die unterstützten Sprachen aber nicht auf.

Das Embedding-Modell wählen wir deshalb anhand der eigenen ungarischen Frage-Dokument-Paare des Unternehmens aus, nicht anhand der allgemeinen Messungen des Anbieters.

Ungarische Besonderheiten

Flexion: „szerződés“, „szerződésben“ und „szerződéseinkről“ (Vertrag, im Vertrag, über unsere Verträge) meinen dasselbe, die wörtliche Schlüsselwortsuche erkennt sie ohne Rückführung auf den Wortstamm (Stemming) aber nicht als Treffer. Die Suche nach Bedeutung hilft hier, und die hybride Suche verbindet beides.
Fachbegriffe und interne Namen: Abkürzungen, Produktcodes und interne Bezeichnungen des Unternehmens kommen im allgemeinen Wissen des Modells nicht vor; ein kurzes Glossar verbessert die Suche erheblich.
Gemischtsprachiges Material: Ist die Frage ungarisch und das Handbuch englisch, braucht es ein mehrsprachiges Embedding-Modell, und die Antwortsprache muss festgelegt werden; das Quellenzitat bleibt in der Originalsprache.
Alltagsformulierungen: Auch Tippfehler, Fragen ohne Akzentzeichen und umgangssprachliche Ausdrücke gehören zu den Testfragen.

Mit welchen Dokumenten kann es arbeiten?

Quelle	Worauf zu achten ist
PDF mit Text	gut zu verarbeiten; die Quellenangabe kann auch auf die Seitenzahl verweisen
Gescanntes PDF	zuerst ist eine Texterkennung (OCR) nötig: Laut der Dokumentation von Anthropic lässt sich aus einem gescannten PDF ohne extrahierbaren Text keine Quelle zitieren
Word und Excel	Anthropic empfiehlt, DOCX- und XLSX-Dateien in Text umzuwandeln, die Dateisuche von OpenAI nimmt DOCX auch direkt an; die Struktur der Tabellen muss erhalten bleiben
Wiki und Intranet	die gültige Fassung sollte zählen, alte Seiten gehören ins Archiv
Tickets, Helpdesk	enthalten viele personenbezogene Daten und veraltete Lösungen, deshalb müssen sie gefiltert werden
E-Mails	nur in einem ausgewählten, geordneten Umfang; die heikelste Quelle in Bezug auf personenbezogene Daten und Berechtigungen

Berechtigungen pro Dokument

Der heikelste Punkt von RAG ist, dass das System keine Stelle herausgeben darf, die die fragende Person auch im Quellsystem nicht öffnen könnte. Das überlassen wir nicht dem Modell, sondern bauen es in die Suche ein:

jeder Abschnitt trägt die Berechtigungsdaten seines Quelldokuments als Metadaten mit;
die Filterung erfolgt vor oder während der Suche (der Retrieval-Dienst von OpenAI zum Beispiel bietet eine Filterung nach Dateiattributen vor der semantischen Suche), sodass gar nicht erst zum Modell gelangt, was die fragende Person nicht sehen darf;
Änderungen der Berechtigungen synchronisieren wir aus dem Quellsystem, statt sie von Hand zu pflegen;
wir protokollieren, wer was gefragt hat und aus welchen Dokumenten die Antwort kam.

Ein aktuell gehaltener Index

RAG ist nur so gut, wie sein Index aktuell ist. Worauf wir achten:

Änderungserkennung: Neue und geänderte Dokumente verarbeitet das System automatisch.
Löschen: Ein in der Quelle gelöschtes Dokument wird auch aus dem Index entfernt; laut der Dokumentation von OpenAI wird das Entfernen erst nach und nach wirksam, sodass eine gelöschte Datei noch kurze Zeit in den Treffern erscheinen kann.
Versionen: Unterscheidung zwischen gültiger und zurückgezogener Fassung, mit Datum in den Metadaten.
Quellverantwortliche: Jede Quelle hat eine verantwortliche Person, die sich meldet, wenn etwas veraltet ist.
Ablauf: eine Ablaufregel für befristetes Material; für die Vektorspeicher von OpenAI lässt sich zum Beispiel eine Ablaufzeit festlegen.

Weniger falsche Antworten: Quelle, „Ich weiß es nicht“, Messung

Ein Sprachmodell kann sich auch mit dem bereitgestellten Material irren. Der Leitfaden von Anthropic zur Verringerung falscher Antworten empfiehlt, dem Modell ausdrücklich zu erlauben, „Ich weiß es nicht“ zu antworten, es auf wörtliche Zitate zu stützen, es zu jeder Aussage ein belegendes Zitat suchen zu lassen (und die Aussage zurückzuziehen, wenn es keines findet) sowie es nur mit den bereitgestellten Dokumenten arbeiten zu lassen. Der Leitfaden fügt hinzu: Diese Methoden verringern falsche Antworten, beseitigen sie aber nicht ganz, deshalb müssen wichtige Informationen überprüft werden. Darauf bauen wir:

Quellenangabe: Bei jeder Antwort ist zu sehen, aus welchem Teil welches Dokuments sie stammt.
„Ich weiß es nicht“ und Übergabe: Steht die Antwort nicht im Material, sagt das System das und gibt die Frage an eine Mitarbeiterin oder einen Mitarbeiter weiter.
Nur aus dem bereitgestellten Material: Über das Unternehmen nutzt das Modell sein allgemeines Wissen nicht.
Bewertungsdatensatz: echte Fragen mit der erwarteten Antwort und der richtigen Quelle. Wir messen getrennt, ob die Suche die richtige Stelle gefunden hat und ob die Antwort ihr treu ist; laut dem Leitfaden von OpenAI zur Evaluierung sollten die Testdaten typische, extreme und absichtlich irreführende Fälle enthalten, und die Bewertung sollte bei jeder Änderung erneut laufen.
Rückmeldung: Die Benutzer können eine schlechte Antwort melden, und aus dem Protokoll entstehen neue Testfälle.

Datenschutz: Wo werden die Dokumente gespeichert?

In einem RAG-System durchläuft das Material des Unternehmens drei Orte:

Das Quellsystem: Die Dokumente bleiben, wo sie bisher waren: in der Dokumentenablage, im Wiki, im E-Mail-Programm.
Der Index: die Abschnitte und Vektoren in einer Suchdatenbank. Er kann in der eigenen Umgebung des Unternehmens oder bei einem Anbieter laufen; bei der Dateisuche von OpenAI zum Beispiel bleiben hochgeladene Dateien laut der Dokumentation zur Datenverarbeitung und dem Retrieval-Leitfaden gespeichert, bis sie gelöscht werden oder der Vektorspeicher abläuft.
Der Modellaufruf: Zum Modell gelangen nur die für die Frage ausgewählten Abschnitte. Dabei gelten die Datenverarbeitungsbedingungen des Anbieters; was sie über das Training, die Speicherdauer und den Ort der Verarbeitung sagen, fasst der Artikel über das Verbinden von Firmensystemen mit KI zusammen.

Enthalten die Dokumente auch personenbezogene Daten, unterliegt die Verarbeitung der DSGVO, und mit dem Anbieter als Auftragsverarbeiter ist ein Vertrag nach Artikel 28 der Datenschutz-Grundverordnung nötig. Über die rechtlichen Fragen (Transparenz, Datenübermittlung, Folgenabschätzung) schreiben wir im Artikel AI Act und DSGVO bei einem Firmen-Chatbot. Dies ist eine Information, keine Rechtsberatung.

Die Schritte eines RAG-Projekts

Ziel und Themenkreis der Fragen: wer fragt, worüber, und was als gute Antwort gilt.
Bestandsaufnahme und Bereinigung der Quellen: Aussortieren von Duplikaten sowie von widersprüchlichen und veralteten Fassungen.
Berechtigungsmodell: wer aus welchem Dokument eine Antwort erhalten darf.
Bewertungsdatensatz: echte ungarische Fragen mit der erwarteten Antwort und Quelle.
Prototyp: Abstimmung von Aufteilung, Embedding-Modell und Suche auf Grundlage von Messungen.
Anbindung: die Oberfläche, die Quellenangabe, die Übergabe an Mitarbeitende und die Protokollierung.
Pilotbetrieb: in einem kleinen Benutzerkreis, mit Sammlung der Rückmeldungen.
Betrieb: Aktualisierung des Index, laufende Messung und Prüfung von Modellwechseln.

Typische Fehler

Die Dokumentenablage „wie sie ist“: Gibt es drei Fassungen derselben Richtlinie, kann das System aus jeder davon zitieren.
Berechtigungen im Nachhinein: Bei der ersten Vorführung ist alles sichtbar, im Echtbetrieb kann das eine Datenschutzverletzung sein.
Antwort ohne Quelle: Der Benutzer kann sie nicht prüfen und vertraut ihr auch nicht.
Tests mit erfundenen Fragen: Die Fragen der Vorführung funktionieren gut, die echten ungarischen Fragen mit Tippfehlern nicht.
Einmaliges Laden: Ohne Aktualisierung veraltet die Wissensbasis schnell.
Gescannte PDFs ohne Texterkennung: Das System sieht ihren Inhalt schlicht nicht.

Häufige Fragen

Was ist RAG?

RAG (Retrieval-Augmented Generation, durch Suche ergänzte Textgenerierung) ist eine Lösung, bei der das System zu einer Frage zuerst die relevanten Stellen in den Dokumenten des Unternehmens sucht und das Sprachmodell daraus antwortet, mit Angabe der Quelle. Der Begriff stammt aus einer Forschungsarbeit aus dem Jahr 2020.

Antwortet es auf Ungarisch aus unseren eigenen Dokumenten?

Ja. Die heutigen großen Sprachmodelle verstehen und schreiben auch gut Ungarisch und arbeiten auch mit ungarischen Dokumenten; auch der KI-Assistent auf unserer Startseite unterhält sich auf Ungarisch. Da die veröffentlichten Messungen der Anbieter das Ungarische nicht immer abdecken, messen wir sowohl das antwortende als auch das Embedding-Modell vor dem Livegang an den eigenen ungarischen Fragen des Unternehmens.

Muss das Modell mit unseren eigenen Daten trainiert werden?

In der Regel nicht. RAG gibt dem Modell die nötigen Stellen im Moment der Frage, sodass sich das Wissen aktualisieren, die Quelle angeben und die Berechtigung pro Dokument filtern lässt. Fine-Tuning kann infrage kommen, wenn Form oder Tonfall der Antworten nicht einheitlich genug sind, und auch dann zusätzlich zu RAG, nicht stattdessen.

Was passiert, wenn es die Antwort nicht weiß?

Wir bauen es so, dass es das offen sagt und die Frage an eine Mitarbeiterin oder einen Mitarbeiter weitergibt, statt etwas zu erfinden. Das Modell erhält ausdrücklich die Erlaubnis, „Ich weiß es nicht“ zu antworten, darf nur mit dem bereitgestellten Material arbeiten, und die unbeantworteten Fragen fließen aus dem Protokoll in die Erweiterung der Wissensbasis zurück.

Wo werden unsere Dokumente gespeichert?

Im Quellsystem, wie bisher; daneben im Suchindex, der in der eigenen Umgebung des Unternehmens oder bei einem Anbieter laufen kann; und zum Modell gelangen pro Frage nur die ausgewählten Stellen, nach den Datenverarbeitungsbedingungen des Anbieters. Welche Lösung zu einem Unternehmen passt, hängt davon ab, wie sensibel die Dokumente sind und welche Datenschutzanforderungen gelten.

Wie können wir helfen?

Die Mesterséges Intelligencia Központ Kft. entwickelt KI-Chatbots, die aus den eigenen Dokumenten des Unternehmens antworten (auch auf Ungarisch), mit der RAG-Methode und mit Quellenangabe, auf Grundlage der Sprachmodelle von OpenAI (ChatGPT), Anthropic (Claude) und Google (Gemini). Das Erstgespräch ist kostenlos; die Größe der Entwicklung messen wir in COSMIC-Funktionspunkten, und daraus entstehen das Angebot und der Zeitplan. Auf Wunsch schließen wir eine Geheimhaltungsvereinbarung (NDA), und nach der Übergabe übernehmen wir auch die Aktualisierung der Wissensbasis und die Überwachung des Betriebs. Quellcode und Nutzungsrechte regelt der Vertrag.

Einzelheiten finden Sie auf den Seiten KI-Chatbots und KI-Agenten und KI-Integration; ob ein Chatbot oder ein Agent nötig ist, hilft der Artikel Chatbot oder KI-Agent? zu entscheiden. Wenn Sie ein System planen, das aus den Dokumenten Ihres Unternehmens antwortet, schreiben Sie uns über die Kontaktdaten auf der Seite Kontakt.