KI Wissensassistent mit RAG

Ob ein KI Wissensassistent richtig antwortet, entscheidet selten der Name des Modells. Entscheidend ist, welche Dokumente in den Index gelangen, wie sie zerlegt werden, wie Berechtigungen mitwandern und wer eine falsche Antwort bemerkt. Dieser Leitfaden geht die Entscheidungen in der Reihenfolge durch, in der Geschäftsführung und IT sie meist treffen.

Oben auf der Seite steht, was der Assistent leistet. Hier geht es um das Wie und um die Frage, wann man besser darauf verzichtet.

01Fünf Fragen zur Reife Ihres Dokumentbestands

Bevor Sie Budget für einen KI Wissensassistenten einplanen, lässt sich mit fünf Fragen prüfen, ob Ihr Archiv ihn tragen kann. Fallen mehr als zwei Antworten negativ aus, ist Arbeit an der Dokumentation die klügere erste Investition.

• Wiederkehrende Fragen: Werden dieselben Personen mehrmals pro Woche nach derselben Information gefragt? Dann ist die Zeitersparnis greifbar; verlangt jede Frage eine individuelle Einschätzung, bleibt der Nutzen klein.
• Schriftliche Antworten: Steht die Antwort auf häufige Fragen in einer Richtlinie, einem Handbuch oder einem Vorgang? Wissen, das nur im Kopf erfahrener Kollegen existiert, lässt sich nicht indexieren.
• Gültige Fassung: Kann jemand in wenigen Minuten sagen, welche Kopie eines Dokuments gilt? Wenn nicht, kann es der Assistent auch nicht.
• Verantwortliche: Gibt es für jede Dokumentgruppe eine Person oder Abteilung, die sie aktuell hält?
• Saubere Rechte: Spiegeln die Ordnerrechte auf dem Netzlaufwerk echte Rollen wider, oder wurden sie über Jahre für alle geöffnet?

Der letzte Punkt wird oft übersehen. Der Assistent übernimmt Rechte genau so, wie sie in der Quelle stehen; ein Laufwerk, auf dem alle alles sehen, wird zum sichtbaren Problem, sobald man es in natürlicher Sprache befragen kann. Die Bereinigung der Rechte ist daher in vielen Projekten das erste Arbeitspaket.

Auch ein negatives Ergebnis ist kein verlorener Aufwand. Bestandsaufnahme, Versionsbereinigung und eine Liste der Verantwortlichen tragen jeden späteren Assistenten und auch eine ordentliche Suche.

02Den ersten Einsatzbereich nach Unternehmensart wählen

Beginnen Sie dort, wo sich wiederkehrende Fragen häufen und eine falsche Antwort ohne bleibenden Schaden korrigiert werden kann. Dieselbe Grundlage wird je nach Unternehmen mit anderen Dokumenten gefüllt und braucht andere Grenzen.

• Industrie und Maschinenbau: Wartungsanweisungen, Qualitätsverfahren und frühere Abweichungsberichte; der Schichtleiter sieht mit Quelle, wie eine Störung schon einmal behoben wurde. Schritte zum Arbeitsschutz verweisen immer auf das Originaldokument.
• Kanzlei oder Beratung: Vertragsmuster, Schriftsatzvorlagen und interne Vermerke; der Assistent findet Vorlage und Klausel, die rechtliche Bewertung bleibt beim Anwalt. Die Trennung zwischen Mandaten ist hier entscheidend.
• Softwarehaus: Technische Dokumentation, Architekturentscheidungen und gelöste Tickets; neue Entwickler erfahren durch Fragen, warum ein Dienst so gebaut ist.
• Filialnetz oder Franchise: Aktionsregeln, Abläufe für Rücknahmen und das Betriebshandbuch der Filialen; Mitarbeitende vor Ort sehen die gültige Regel ohne Anruf in der Zentrale.
• Versicherungsmakler und Finanzdienstleister: Bedingungswerke, Produktunterlagen und Prozessnotizen; die Beraterin findet die passende Klausel, bevor sie antwortet, und verantwortet die Auslegung selbst.

Wählen Sie mit zwei Kriterien: Ist das Fragevolumen hoch, und lässt sich eine falsche Antwort rückgängig machen? Ein Irrtum bei der Reisekostenregel ist schnell korrigiert, einer beim Arbeitsschutz womöglich nicht. Bei Dokumentgruppen mit hohem Risiko zeigt der Assistent im Pilot deshalb die Fundstelle selbst statt einer eigenen Zusammenfassung.

03Der Weg einer Frage durch den Assistenten

Zwischen der Eingabe einer Frage und der Antwort laufen sieben Schritte. Weil sich jeder Schritt einzeln prüfen lässt, lassen sich auch Fehler Schritt für Schritt eingrenzen.

1. Aufbereitung der Frage: Abkürzungen und interne Begriffe werden aufgelöst, vage Angaben wie "die Regel vom letzten Jahr" werden zu einem Zeitraum.
2. Hybride Suche: Die Vektorsuche (Texte werden in Zahlenreihen übersetzt, die ihre Bedeutung abbilden, und nach Ähnlichkeit verglichen) findet Synonyme; die Stichwortsuche übersieht keine exakten Angaben wie Teilenummern oder Paragrafen.
3. Neusortierung: Ein zweites Modell ordnet die gefundenen Abschnitte nach ihrer tatsächlichen Relevanz und filtert Rauschen aus dem ersten Durchgang.
4. Rechtefilter: Jeder Abschnitt, den die Person nicht sehen darf, wird entfernt, bevor das Modell aufgerufen wird; was das Modell nie erhält, kann es nicht preisgeben.
5. Kontext: Die übrigen Abschnitte gehen mit Überschrift, Datum und Dateiname an das Modell; gibt es zwei Fassungen, wird die neuere markiert.
6. Antwort mit Beleg: Das Modell schreibt nur aus den gelieferten Abschnitten und verknüpft jede Aussage mit einer Quelle; fehlt ein Beleg, sagt es das.
7. Protokoll: Frage, verwendete Abschnitte, Modell und Indexversion werden gespeichert, und die Antwort kann als falsch oder lückenhaft markiert werden.

Fragen Sie jeden Anbieter, wie diese Schritte einzeln getestet werden. Ein Test, der nur die Endantwort bewertet, zeigt nicht, ob der Fehler in der Suche oder im Formulieren liegt.

04Wie die Zerlegung der Dokumente die Qualität bestimmt

Dokumente in Stücke fester Länge zu schneiden, ist eine häufige Ursache falscher Antworten; die Zerlegung sollte der Struktur des Dokuments folgen. Landet Ziffer 4.2 einer Richtlinie in einem Abschnitt und die Ausnahme dazu im nächsten, gibt das Modell die Regel womöglich ohne Ausnahme wieder.

Wir zerlegen deshalb entlang von Überschriften, Ziffern und Absätzen statt nach Zeichenzahl und erhalten dabei diese Angaben:

• Überschriftenkette: Jeder Abschnitt trägt seine übergeordneten Überschriften, damit ein kurzer Absatz "Geltungsbereich" weiß, zu welcher Richtlinie er gehört.
• Tabellen: Zeilen werden mit der Kopfzeile gespeichert; sonst verliert ein Wert die Spalte, die ihm Bedeutung gibt.
• Begriffsbestimmungen: Der Definitionsteil wird mit den Abschnitten verknüpft, in denen die Begriffe vorkommen.
• Metadaten: Dokumentart, Gültigkeitsdatum, Verantwortliche, Sprache und Vertraulichkeitsstufe stehen an jedem Abschnitt; Filter arbeiten mit diesen Kennzeichen.
• Gescannte Seiten: Die Ausgabe der Texterkennung wird stichprobenartig geprüft; eine falsch erkannte Zahl erzeugt eine falsche Antwort, die richtig aussieht.

Felder aus strukturierten Unterlagen wie Rechnungen oder Antragsformularen auszulesen, ist eine andere Aufgabe; dafür gibt es die KI Dokumentenverarbeitung. Beim Wissensassistenten geht es darum, Text durchsuchbar zu machen, ohne seinen Sinn zu zerstören.

Auch Dubletten verzerren Ergebnisse: Drei Kopien einer Datei belegen drei Plätze in der Trefferliste. Mit einem Hash Generator erkennen Sie identische Dateien schon vor der Indexierung.

05Quellsysteme ohne blinde Flecken anbinden

Für jedes Quellsystem werden drei Dinge getrennt gelöst: Inhalte lesen, Änderungen erkennen und Rechte übernehmen. Fehlt eines davon, veraltet der Assistent oder sieht mehr, als er darf.

• Netzlaufwerke und Cloudspeicher: SharePoint, OneDrive und Google Drive liefern Änderungsinformationen und Zugriffslisten; die Anbindung läuft über ein Dienstkonto mit reinem Lesezugriff.
• Wiki und Intranet: In Confluence oder Notion bleibt die Seitenhierarchie als Gliederung erhalten, archivierte Seiten fallen aus dem Index.
• Ticketsysteme: Nur gelöste und freigegebene Tickets werden übernommen, Kundennamen und Kontaktdaten vorher maskiert.
• E-Mail Archive: Wegen der Dichte personenbezogener Daten oft die riskanteste Quelle; nur ausgewählte Sammelpostfächer kommen hinzu, mit festgelegtem Zweck und Frist.
• Fachanwendungen: Datensätze aus ERP oder CRM sind Live Daten, keine Dokumente; sie werden besser zum Zeitpunkt der Frage gezielt abgefragt als in den Index kopiert.

Gelöschte Dateien werden am häufigsten vergessen. Ein Dokument, das in der Quelle entfernt oder eingeschränkt wird, muss im selben Abgleich auch aus dem Index verschwinden; sonst zitiert der Assistent etwas, das niemand mehr öffnen kann. Diesen Fall testen wir bei der Einrichtung gezielt.

Soll der Assistent statt in Teams oder Slack in einer eigenen Anwendung laufen, entsteht diese Oberfläche über die individuelle Softwareentwicklung, abgestimmt auf Ihre Anmeldung und Ihr Rechtemodell.

06Modell und Betrieb nach Sensibilität der Dokumente wählen

Die Modellwahl für einen KI Wissensassistenten ist ebenso eine Frage des Datenflusses wie der Antwortqualität, und sie richtet sich nach der Sensibilität jeder Dokumentgruppe.

In einem Assistenten arbeiten zwei Modelle. Ein Embedding Modell (es übersetzt Text in eine Zahlenreihe, die seine Bedeutung abbildet) baut den Index; ein Sprachmodell schreibt die Antwort. Bei deutschen Dokumenten mit langen Komposita sollte das Embedding Modell eigens mit Ihren Texten geprüft werden, denn gute Werte in englischen Vergleichstests sagen darüber wenig.

• Cloud API: Hohe Antwortqualität und geringer Wartungsaufwand; gesendet werden nur die zur Frage passenden Abschnitte. Enthalten diese personenbezogene Daten, greifen die Regeln zur Auftragsverarbeitung.
• Cloud mit Verarbeitung in der EU: Manche Anbieter verarbeiten in einer gewählten Region; das vereinfacht die Prüfung, ersetzt aber keine rechtliche Bewertung.
• Offenes Modell auf eigenem Server: Dokumente verlassen Ihr Haus nicht; Hardware, Updates und Qualitätskontrolle liegen dann bei Ihnen.
• Gemischte Steuerung: Allgemeine Richtlinien gehen an ein Cloudmodell, Personal und Rechtsunterlagen an ein lokales Modell, gesteuert über das Vertraulichkeitskennzeichen.

Hardware und Betrieb eines lokalen Modells behandeln wir auf der Seite zur lokalen LLM Installation; sie lohnt sich vor dieser Entscheidung.

Wichtig zu wissen: Ein Wechsel des Sprachmodells lässt den Index unberührt, ein Wechsel des Embedding Modells verlangt einen Neuaufbau. Wir vergleichen Embedding Modelle deshalb im Pilot mit Ihren Dokumenten und behandeln spätere Wechsel als geplantes Release.

07Freigaben, Rückmeldungen und Protokolle

Ein KI Wissensassistent liefert Informationen und trifft keine Entscheidungen. Trotzdem sollte vor dem Start schriftlich feststehen, bei welchen Themen er weiterleitet statt antwortet, wohin Rückmeldungen gehen und wie lange Protokolle bleiben.

Die meisten internen Fragen lassen sich direkt beantworten. Bei individueller Vergütung, Disziplinarthemen, Gesundheitsfragen oder rechtlichen Zusagen an Kunden zeigt der Assistent besser das einschlägige Dokument und nennt die zuständige Stelle.

• Rückmeldewege: Eine markierte Antwort landet bei der verantwortlichen Person des zitierten Dokuments; sie entscheidet, ob das Dokument oder die Sucheinstellung angepasst wird.
• Wöchentliche Durchsicht: Im Pilot werden markierte Antworten und offene Fragen einmal pro Woche mit den Dokumentverantwortlichen gelesen.
• Freigabe von Änderungen: Kein Prompt, keine Indexeinstellung und kein Modellwechsel geht live, ohne den Fragensatz bestanden zu haben; wer freigibt, ist vorher festgelegt.
• Umfang der Protokolle: Frage, verwendete Abschnitte, Antwort, Versionsangaben und Rückmeldung; Einsicht nur für wenige Rollen.

Lassen sich aus Frageprotokollen Verhalten oder Leistung einzelner Beschäftigter ablesen, kann die Einführung nach § 87 Abs. 1 Nr. 6 BetrVG mitbestimmungspflichtig sein. Binden Sie den Betriebsrat daher früh ein und legen Sie schriftlich fest, dass Protokolle nicht zur Leistungsbewertung dienen; das macht die Nutzung auch ehrlicher.

08DSGVO, KI Verordnung und Beschäftigtendaten

Datenschutz betrifft einen internen Assistenten an zwei Stellen: personenbezogene Daten in den indexierten Dokumenten und die Frageprotokolle der Beschäftigten. Beides ist getrennt zu bewerten.

• Daten in Dokumenten: Personalakten, Kundenkorrespondenz und Verträge enthalten personenbezogene Daten. Prüfen Sie für jede Gruppe, ob sie wirklich gebraucht wird; eine nicht angebundene Gruppe ist der wirksamste Schutz.
• Auftragsverarbeitung: Erreichen solche Daten einen Modellanbieter, handelt dieser als Auftragsverarbeiter, und es braucht einen Vertrag nach Artikel 28 DSGVO.
• Drittländer: Verlassen Daten EU und EWR, verlangt Kapitel V DSGVO einen Angemessenheitsbeschluss oder geeignete Garantien wie Standardvertragsklauseln. Für die Schweiz gelten eigene Regeln, die Sie mit Ihrer Beratung klären.
• Besonders sensible Gruppen: Gesundheitsunterlagen und Vergleichbares bleiben außerhalb des Index oder laufen nur über ein lokales Modell mit engen Rechten.

Artikel 4 der KI Verordnung in der 2026 geänderten Fassung verlangt von Betreibern von KI Systemen Maßnahmen, die die KI Kompetenz ihres Personals fördern. Wir sehen das weniger als Pflichtübung denn als Voraussetzung für richtige Nutzung; eine KI Schulung für Unternehmen schließt diese Lücke für Ihre Teams.

Dieser Abschnitt ist keine Rechtsberatung. Rechtsgrundlage, Informationen für Beschäftigte und Vertragswerk stimmen Sie bitte mit Ihrem Datenschutzbeauftragten ab.

09Den Pilot mit schriftlichen Kriterien führen

Ein Pilot läuft mit einem Team, einem begrenzten Dokumentbestand und vorab festgelegten Erfolgskriterien. Ohne Kriterien lässt sich am Ende nichts entscheiden.

1. Umfang festhalten: Welches Team, welche Dokumentgruppen, welche Fragetypen, und ausdrücklich, was nicht dazugehört.
2. Fragensatz sammeln: Echte Fragen mit richtigen Antworten und Fundstelle aus dem Team, gemischt aus leichten, schweren und solchen ohne Antwort in den Dokumenten.
3. Ausgangswert messen: Stoppen Sie Beispielrecherchen von heute; ein Arbeitszeitrechner rechnet das auf Wochenstunden des Teams hoch.
4. Intern testen: Fragensatz durchlaufen, Quellenangaben, Rechtefilter und den Fall gelöschter Dokumente gesondert prüfen.
5. Teilweise öffnen: Ein Teil des Teams startet; Rückmeldungen und offene Fragen werden wöchentlich gesichtet.
6. Entscheiden: Sind die Kriterien erfüllt, folgt ein zweites Team oder eine weitere Dokumentgruppe; sonst zeigen die Protokolle, ob das Problem in Dokumenten, Suche oder Modell liegt.

Koppeln Sie die Dauer des Pilots an das Fragevolumen statt an den Kalender; ein kaum genutzter Pilot ist weder gut noch schlecht, sondern ohne Aussage. Jede neue Dokumentgruppe kommt mit eigenen Testfragen, sodass ältere Gruppen bei jeder Erweiterung erneut geprüft werden.

10Fünf Kennzahlen, die echten Nutzen zeigen

Nutzen misst man nicht mit einer Zufriedenheitsnote, sondern mit Kennzahlen, die getrennt erfassen, ob die Suche den richtigen Abschnitt findet, ob die Antwort quellentreu bleibt und ob das Team den KI Wissensassistenten tatsächlich annimmt.

• Trefferquote der Suche: Liegt für jede Frage des Satzes der richtige Abschnitt unter den ersten Treffern? Ist sie niedrig, liegt das Problem in Zerlegung und Suche, nicht im Modell.
• Quellentreue: Steht jede Aussage der Antwort wirklich im zitierten Abschnitt? Geprüft wird an einer Stichprobe durch Menschen.
• Richtiges "weiß ich nicht": Wie oft sagt der Assistent bei Fragen ohne Antwort in den Dokumenten ehrlich, dass er nichts findet?
• Wiederkehrende Nutzung: Kommen Pilotnutzer nach der ersten Woche zurück? Das trennt Neugier von Gewohnheit.
• Fragen an Fachleute: Gehen Routinefragen an erfahrene Kollegen zurück, erfasst über eine kurze Umfrage oder die Zahl der Nachrichten im internen Supportkanal?

Berechnen Sie diese Werte bei jeder Änderung an Index oder Modell mit demselben Fragensatz neu; eine einmalige Messung zeigt keinen schleichenden Qualitätsverlust. Wer einen Geldwert braucht, rechnet mit der eigenen gemessenen Suchzeit und Teamgröße, nicht mit Quoten anderer Unternehmen.

11Wo RAG an seine Grenzen stößt

RAG ist stark darin, zu finden und wiederzugeben, was in Dokumenten steht, und schwach darin, Ungeschriebenes zu folgern, über ein ganzes Archiv zu zählen oder Widersprüche aufzulösen. Wer das vorher weiß, setzt die richtigen Erwartungen.

• Zählfragen: "In wie vielen Verträgen dieses Jahres steht eine Vertragsstrafe" verlangt einen Durchlauf über das gesamte Archiv; RAG holt nur wenige passende Abschnitte und liefert womöglich eine unvollständige Zahl. Solche Fragen gehören in ein Berichtswerkzeug.
• Widersprüchliche Dokumente: Sagen zwei gültige Dokumente Verschiedenes, sollte der Assistent den Widerspruch zeigen statt eines zu wählen; die Lösung liegt bei den Verantwortlichen.
• Flüssig, aber falsch: Ein Modell kann auf einem lückenhaften Abschnitt einen überzeugenden Satz bauen. Quellenangaben senken dieses Risiko, beseitigen es aber nicht.
• Versteckte Anweisungen: Text in einer externen Datei kann versuchen, das Modell zu steuern; reiner Lesezugriff und keine ausgehenden Aktionen sind deshalb Pflicht.
• Veraltete Rechte: Wurden alte Zugriffe nach einem Rollenwechsel in der Quelle nicht entzogen, wendet der Assistent sie weiter an.

Übermäßiges Vertrauen ist das leiseste Risiko: Je öfter der Assistent richtig liegt, desto seltener prüfen Menschen die Quelle. In der Übergabeschulung zeigen wir deshalb, bei welchen Fragetypen er schwach ist.

12Häufige Fehler und was besser funktioniert

Die meisten Fehler in solchen Projekten betreffen Umfang und Reihenfolge, nicht die Technik. Jeder der folgenden sechs lässt sich vor der Einrichtung vermeiden.

• Das ganze Laufwerk auf einmal anbinden: Entwürfe, Kopien und alte Fassungen landen mit im Index. Besser mit einer Dokumentgruppe beginnen und weitere erst nach der Bereinigung ergänzen.
• Nach Demofragen entscheiden: Die Fragen des Anbieters funktionieren immer. Bestehen Sie auf einem Satz aus echten Fragen Ihres Teams, einschließlich solcher ohne Antwort in den Dokumenten.
• Rechte auf später verschieben: Ein nachträglicher Rechtefilter kann einen Neuaufbau des Index erzwingen. Machen Sie Zugriffskontrolle vom ersten Tag an zum Teil des Index.
• Keine Verantwortlichen benennen: Pflegt niemand die Dokumente, liefert der Assistent nach einigen Monaten veraltete Angaben. Jede Quellgruppe bekommt einen Namen.
• Private KI Konten ignorieren: Beschäftigte kopieren weiter Firmendokumente in private Chatkonten. Veröffentlichen Sie zum Start eine kurze Nutzungsregel mit Begründung.
• Nur Zufriedenheit messen: Daumen nach oben verdecken falsche Antworten. Verfolgen Sie Ergebnisse des Fragensatzes, Quellentreue und offene Fragen gemeinsam.

Gemeinsam ist diesen Fehlern, den Assistenten als einmalige Installation zu sehen statt als System, das sich mit Ihren Dokumenten verändert.

13Fragen an den Umsetzungspartner

Achten Sie beim Vergleich von Angeboten weniger auf die Demo als darauf, wie ein Team Fehler findet, Rechte überträgt und was es bei der Übergabe hinterlässt. Verlangen Sie schriftliche Antworten auf diese Punkte:

• Rechte: Wie und wie schnell erreicht eine Rechteänderung in der Quelle den Index, und gehört ein Test mit gelöschtem Dokument zur Abnahme?
• Tests: Aus wessen Fragen besteht der Fragensatz, werden Suche und Antwort getrennt gemessen, und sehen Sie die Ergebnisse nach jedem Update?
• Datenweg: Welche Abschnitte gehen an welchen Anbieter in welcher Region, und lässt sich belegen, dass der Anbieter API Daten nicht zum Training nutzt?
• Eigentum: Auf wessen Namen laufen Konten, Indexeinstellungen, Prompts und Fragensatz; könnte ein anderes Team übernehmen?
• Pflege: Wie werden neue Dokumentarten, Modellwechsel und Qualitätseinbrüche nach dem Start behandelt?

Nach Referenzen zu fragen, ist berechtigt. Einen KI Wissensassistenten für einen Kunden, den wir nennen können, haben wir noch nicht umgesetzt; unsere Arbeiten in Automatisierung, Software und Web finden Sie unter Referenzen. Deshalb legen wir unsere Methode schriftlich mit Pilotkriterien vor. Aufbau, Anbindungen und Pflege laufen im Rahmen unserer KI Automatisierung; ein Angebot, das die Pflege offen lässt, sollte im Vergleich schwer wiegen.

14Entscheidung und erster Schritt

Haben Sie mindestens drei der Reifefragen mit Ja beantwortet und trägt ein Team erkennbar viele wiederkehrende Fragen, sind Sie gut für einen Pilot aufgestellt; sonst kommt zuerst die Ordnung der Dokumente. Für ein ergiebiges Erstgespräch sammeln Sie bitte:

• Das Team, das am meisten Zeit verliert, und drei bis fünf typische Fragen daraus
• Die Systeme und Dokumentarten, in denen die Antworten liegen
• Dokumentgruppen, die Sie als sensibel einstufen, und ob sie Ihr Haus verlassen dürfen
• Den Ort der Nutzung: Browser, Teams, Slack oder internes Portal
• Das Kriterium, an dem Sie den Erfolg des Pilots festmachen

Damit genügt ein kurzes Gespräch, um Pilotumfang, Datenweg und riskante Dokumentgruppen für Ihren KI Wissensassistenten festzulegen. Das Gespräch vereinbaren Sie über unsere Kontaktseite.

Die Kosten hängen von Dokumentmenge, Zahl der Quellsysteme, Komplexität der Rechte und der Betriebsform ab. Festpreisoptionen für Analyse und ersten Workflow finden Sie bei den Preisen der KI Automatisierung; ist der Umfang klar, folgt ein schriftliches Angebot. Sagt der Reifetest "noch nicht", sagen wir das offen, und das Ergebnis des Gesprächs ist eine Aufräumliste für Ihre Dokumentation.