Was ist Chunking? Dokumente für RAG richtig zerlegen

Was ist Chunking?

Chunking bedeutet, ein langes Dokument in kleinere, in sich verständliche Teile (Chunks) zu zerlegen, die eine KI einbetten und durchsuchen kann. Daher bekommt jedes Teil einen eigenen Eintrag im Index. Stellt jemand eine Frage, gehen nur die passendsten Teile an das Modell, sodass es nie das ganze Archiv lesen muss.

Das Wort stammt vom englischen "chunk", also einem handlichen Block. Manche Teams sagen auch "Dokumente zerlegen" oder "Textsegmentierung". Gemeint ist also immer dasselbe.

Chunking ist kein Produkt, das Sie kaufen. Stattdessen ist es der erste und am häufigsten vernachlässigte Schritt einer Retrieval Pipeline. Ein schlecht zerlegtes Dokument rettet kein noch so gutes Modell danach.

Wie lautet die Antwort auf die Frage, was ist Chunking für Ihr Unternehmen? Es entscheidet, wie gut eine KI Ihre Firmendokumente findet. Dasselbe Modell, dasselbe Archiv und dieselbe Frage liefern also ganz andere Antworten, sobald sich die Zerlegungsregel ändert.

Was ist Chunking in einfachen Worten? Ein Vergleich

Stellen Sie sich ein dickes Lexikon vor. Haben Sie eine Frage, stapeln Sie nicht alle Bände auf Ihrem Schreibtisch. Dann schauen Sie ins Register, finden den richtigen Eintrag und lesen nur diese Seiten.

Chunking erstellt die Einträge dieses Lexikons für Ihre Dokumente. Ist ein Eintrag zu kurz, reißt der Zusammenhang also ab. Ist er zu lang, geht der gesuchte Satz im Text unter.

Denken Sie an eine gute Redakteurin. Bevor sie ein Thema aufteilt, prüft sie Überschriften, Absätze und Tabellen. Mitten im Satz schneidet sie daher nie.

In einem KI System übernimmt eine Zerlegungsregel diese Rolle. Sie wählen die Regel also selbst. Diese Wahl bestimmt direkt, wie treffsicher Ihre Suche wird.

Zum Beispiel arbeiten zwei Teams mit denselben Dokumenten. Das erste schneidet an Seitenumbrüchen, das zweite nach Überschriften. Allein deshalb kann das zweite System stimmigere Antworten geben.

Warum zerlegt man Dokumente in Chunks?

Dafür gibt es zwei praktische Gründe. Erstens wandeln Embedding Modelle jede Eingabe in eine einzige Zahlenfolge um, den Vektor. Pressen Sie einen sehr langen Text in einen Vektor, verschwimmen die Details. Die Grundlagen haben wir in unserem Embeddings Leitfaden erklärt.

Zweitens können Sprachmodelle nur begrenzt viel Text auf einmal verarbeiten. Auch wenn diese Grenze wächst, steigen durch zu viel Material Kosten und Rauschen. Unser Artikel zum Kontextfenster erklärt die Grenze genauer.

Ein dritter Grund ist außerdem die Trefferqualität. Eine Nutzerfrage passt meist zu einem Absatz, nicht zur ganzen Datei. Kleine, fokussierte Teile führen die Suche deshalb genau dorthin.

Außerdem lässt sich eine Antwort leichter auf eine Quelle zurückführen, wenn weniger Text im Spiel ist. Forschung zu langen Eingaben deutet darauf hin, dass Modelle Informationen in der Mitte eines langen Prompts weniger zuverlässig nutzen. Die Ergebnisse finden Sie im Paper Lost in the Middle.

Beispielszenario: Ein Möbelhaus hat Versand, Rückgabe und Montage in einem langen Dokument beschrieben. Ein Kunde fragt dann nur nach den Montagekosten. Bekommt das Modell das ganze Dokument, liest es drei Themen und vermischt womöglich die Regeln. Bei drei getrennten Chunks kommt dagegen nur der Montageabschnitt zurück. Das spart Rauschen, weil das Modell nichts Fremdes liest.

Wo steht Chunking in einer RAG Pipeline?

RAG, also Retrieval Augmented Generation, findet Dokumente und gibt sie dem Modell als Beleg. Die Methode stellte das Paper von Lewis und Kollegen vor. Zunächst ein Überblick: Der Ablauf sieht grob so aus.

1. Sie sammeln Ihre Dokumente und wandeln sie in Text um.
2. Sie zerlegen den Text in Chunks. Hier findet das Chunking statt.
3. Sie wandeln jeden Chunk mit einem Embedding Modell in einen Vektor um und speichern ihn in einer Vektordatenbank.
4. Kommt eine Frage, betten Sie auch sie ein und holen die nächsten Chunks.
5. Bei Bedarf filtern Sie die Treffer mit einem Reranker.
6. Sie geben die gewählten Chunks an das Modell und lassen es die Antwort schreiben.

Wie Sie sehen, bestimmt Chunking die Eingabe der Suche. Zudem arbeitet jeder spätere Schritt mit diesen Teilen. Sind die Chunks schwach, sind Suche und Antwort es ebenfalls.

Beachten Sie außerdem ein Detail. Meist zerlegen Sie nur einmal, leben aber bei jeder Anfrage mit dem Ergebnis. Ändern Sie die Regel später, müssen Sie das gesamte Archiv neu einbetten. Deshalb spart etwas Zeit am Anfang viel Arbeit danach.

Außerdem hat jeder Schritt seine eigene Aufgabe. Chunking bereitet die Information für die Suche vor, das Embedding macht aus Bedeutung Zahlen, und die Suche findet das Naheliegende. Daher lässt sich ein Fehler in einem Schritt in den anderen nicht ausgleichen.

Wie funktioniert Chunking mit fester Länge?

Die Zerlegung mit fester Länge ist die einfachste Methode. Sie schneiden den Text, sobald er eine festgelegte Länge erreicht, und beginnen einen neuen Chunk. Die Länge messen Sie entweder in Zeichen oder in Tokens. Was ein Token ist, steht in unserem Token Leitfaden.

Die Vorteile sind also Tempo und Planbarkeit. Jeder Chunk hat etwa dieselbe Größe, daher schätzen Sie Kosten und Speicher im Voraus ab.

Das Risiko liegt darin, dass die Methode Bedeutung ignoriert. Der Schnitt kann mitten in einen Satz oder sogar in eine Tabellenzeile fallen. Allein gelesen bleibt ein solcher Chunk daher unvollständig.

Beispielszenario: Ein Absatz zur Rückgabe wird in zwei Teile geschnitten. Der erste Chunk sagt dann "Sie können Artikel zurückgeben". Der zweite enthält die Bedingung "nur im ungeöffneten Zustand". Liefert die Suche nur den ersten, klingt das Modell sicher und liegt falsch.

Ein Tipp dazu: Verschieben Sie die Schnittstelle beim Zerlegen nach Länge auf das nächste Satzende. Dafür bieten viele Frameworks rekursive Splitter, denn der Bedarf ist groß. Sie versuchen zuerst Absätze, dann Sätze, zuletzt Wörter.

Feste Länge ist ein schneller Startpunkt. Für ein ernsthaftes Archiv reicht sie allerdings selten allein.

Was bringt Chunking mit Überlappung?

Überlappung heißt, dass an der Grenze zweier Nachbar Chunks ein gemeinsamer Textteil bleibt. Der zweite Chunk beginnt mit den letzten Sätzen des ersten. Dadurch steht die Information am Schnitt zudem in beiden.

Das Ziel ist, abgerissenen Kontext zu verringern. Im obigen Beispiel steht die Bedingung "nur im ungeöffneten Zustand" in beiden Chunks. Welchen die Suche auch liefert, die Antwort bleibt vollständig.

Allerdings hat die Überlappung einen Preis. Derselbe Text landet nämlich mehrfach im Index, also wächst der Aufwand. Der Speicherbedarf wächst, und Suchergebnisse können sich wiederholen.

Wie viel Überlappung sinnvoll ist, hängt vom Dokument ab. Übernehmen Sie keine Zahl aus den Standardwerten eines Anbieters, sondern testen Sie mit Ihren eigenen Dateien. Die Dateisuche Dokumentation von OpenAI behandelt Chunk Größe und Überlappung zum Beispiel als einstellbare Optionen. Prüfen Sie die aktuellen Standardwerte in der offiziellen Dokumentation.

Wann ist Chunking nach Überschriften besser?

Die Zerlegung nach Überschriften folgt der Struktur des Dokuments. Der Text zwischen zwei Abschnittsüberschriften bildet einen Chunk. Ist ein Abschnitt zu lang, gehen Sie auf Unterüberschriften oder Absätze herunter.

Diese Methode glänzt vor allem bei klar gegliederten Dokumenten. Handbücher, Richtlinien, Verträge und Hilfeartikel sind dafür gute Beispiele. Die Autoren haben das Thema ja bereits mit Überschriften gegliedert.

LangChain und LlamaIndex liefern daher fertige Bausteine. Konkret nutzen formatbewusste Splitter Markdown Überschriften oder HTML Tags als Grenzen. Die Optionen sehen Sie in der LangChain Dokumentation zu Splittern.

Die Schwäche: Bei Dokumenten ohne Überschriften oder mit chaotischem Aufbau versagt die Methode. Außerdem wachsen manche Chunks zu stark, andere bleiben winzig, wenn die Abschnittsgrößen stark schwanken. Kombinieren Sie die Methode dann mit einer Längengrenze.

Zum Beispiel bildet ein Hilfeartikel mit drei Absätzen unter "Versand" einen einzigen Chunk. Stehen zehn Absätze unter derselben Überschrift, teilen Sie den Abschnitt an Absatzgrenzen in zwei oder drei Chunks. Schreiben Sie die Überschrift in beiden Fällen an den Anfang jedes Chunks, denn so bleibt der Kontext erhalten.

Was ist semantisches Chunking und wann lohnt es sich?

Semantisches Chunking wählt Grenzen nach Bedeutung statt nach Länge. Dazu vergleichen Sie die Embeddings aufeinanderfolgender Sätze. Wechselt das Thema deutlich, beginnen Sie einen neuen Chunk.

Der Vorteil: Jeder Chunk bleibt bei einem Thema. Bei locker strukturierten Fließtexten wie Besprechungsprotokollen oder langen Mails kann das helfen.

Der Preis ist allerdings zusätzlicher Rechenaufwand. Sie brauchen für jeden Satz ein Embedding, was Zeit und Kosten erhöht. Außerdem müssen Sie einen Schwellenwert einstellen, und der richtige Wert ändert sich von Dokument zu Dokument.

Deshalb wählen wir die Methode nicht als erste. Zunächst bauen wir eine Basis aus Überschriften und Überlappung. Zeigt die Messung dann einen Unterschied, wechseln wir.

Auch die Dokumentation von LlamaIndex stellt mehrere Parser unter einer Abstraktion vor. Details finden Sie auf der Seite zu Node Parsern.

Was ist hierarchisches Chunking mit Parent und Child?

Kleine Chunks sind für die Suche präzise, weil sie sich auf ein Thema konzentrieren. Große Chunks eignen sich besser fürs Antworten, denn sie tragen den umgebenden Kontext. Hierarchisches Chunking verbindet daher beides.

Zuerst zerlegen Sie das Dokument in große Parent Abschnitte. Danach teilen Sie jeden Parent in kleine Child Chunks. Die Suche läuft dann über die Children. Gibt es einen Treffer, bekommt das Modell den zugehörigen Parent Abschnitt.

So gewinnen Sie also Präzision und Kontext zugleich. Frameworks wie LlamaIndex bieten für dieses Muster fertige Parser.

Kennen Sie aber auch die Risiken. Ist der Parent riesig, kehrt das Rauschen zurück. Zeigen mehrere Children auf denselben Parent, erhält das Modell denselben Text mehrfach. Außerdem müssen Sie die Verknüpfung zwischen Child und Parent speichern.

Wir empfehlen die Methode meist für lange Handbücher und Verträge. Bei kurzen FAQ Einträgen bringt sie dagegen nur zusätzliche Komplexität.

Wie wählen Sie die richtige Chunk Größe?

Die Chunk Größe ist die am meisten diskutierte Einstellung. Eine magische Zahl gibt es nämlich nicht. Deshalb nennen wir in diesem Artikel bewusst keine Zahl.

Denken Sie an eine Balance. Zu kleine Chunks reißen den Kontext ab. Ein einzelner Satz sagt wenig, und die Trefferqualität sinkt. Zu große Chunks bringen dagegen Rauschen. Sie enthalten fremde Informationen und lenken das Modell ab.

Die richtige Größe hängt also von drei Dingen ab.

• Dokumenttyp: Kurze FAQ Einträge und lange Verträge brauchen nicht dieselbe Größe.
• Fragetyp: Kurze Faktenfragen wollen kleine Chunks, erklärende Fragen größere.
• Grenze des Embedding Modells: Prüfen Sie die zulässige Eingabelänge in der Dokumentation des Anbieters.

In der Praxis testen Sie mehrere Größen mit derselben Fragenliste. Wählen Sie die Größe, die den richtigen Chunk am häufigsten liefert. Die Antwort lautet also immer gleich: durch Testen herausfinden.

Beispielszenario: Eine Zahnarztpraxis will Behandlungsseiten und Terminregeln archivieren. Die Terminregeln sind kurze Punkte, daher funktionieren kleine Chunks gut. Die Behandlungsbeschreibungen sind lange Texte und wollen größere Chunks. Zwei Größen für zwei Dokumenttypen können hier sinnvoll sein.

Prüfen Sie bei der Wahl, ob ein Chunk allein gelesen verständlich ist. Kann ein Mensch ihn lesen und das Thema erfassen, schafft das Modell es auch. Dieser einfache Test hilft deshalb vielen Teams.

Warum gehören Metadaten zu jedem Chunk?

Ein Chunk verliert allein seinen Zusammenhang. Aus welchem Dokument stammt "die in Artikel 4 genannte Frist"? Genau das beantworten Metadaten.

Metadaten sind Zusatzinformationen am Chunk. Meistens enthalten sie Folgendes.

• Dokumenttitel und Abschnittsüberschrift
• Name oder Adresse der Quelldatei
• Seitenzahl
• Datum der Veröffentlichung oder Änderung
• Dokumenttyp, Sprache und Version
• Zugriffsrecht (wer darf es sehen)

Sie bringen also drei Vorteile. Erstens filtern Sie die Suche: nur die aktuelle Version oder nur die Dokumente einer Abteilung. Zweitens können Sie in der Antwort die Quelle nennen. Drittens zeigen Sie gesperrte Dokumente nicht den falschen Personen.

Ein starker Trick ist, die Überschrift in den Chunk Text zu schreiben. Beginnt ein Chunk mit "Lieferzeit", trägt auch das Embedding diesen Kontext. In LlamaIndex erben Child Knoten die Metadaten des übergeordneten Dokuments, wie die Seite zu den Node Parsern beschreibt.

Beispielszenario: Ein Personalhandbuch enthält allgemeine Regeln und Abschnitte nur für Führungskräfte. Markieren Sie jeden Chunk mit "alle" oder "Führungskraft", sucht das System nur in Chunks, die zur Berechtigung passen. Wenden Sie die Markierung während der Suche an, nicht danach.

Wie stören Tabellen und PDFs das Chunking?

PDF ist ein Format für das menschliche Auge. Die Textreihenfolge in der Datei muss nicht der Leserichtung entsprechen. Zweispaltige Seiten können mit vermischten Spalten herauskommen.

Außerdem wiederholen sich Kopf und Fußzeilen auf jeder Seite. Landen sie in den Chunks, verschmutzen sie die Suche. Entfernen Sie sie daher bei der Textextraktion.

Tabellen sind allerdings noch schwieriger. Schneiden Sie eine Zeile mittendrin durch, trennt sich die Zahl von ihrer Überschrift. Ein Wert wie "120" weiß dann nicht mehr, zu welcher Spalte er gehört. Die Lösung: Behandeln Sie eine Tabelle als unteilbare Einheit. Ist sie groß, wiederholen Sie die Spaltenköpfe in jedem Chunk.

Gescannte Dokumente brauchen zunächst Texterkennung (OCR). Denn ein OCR Fehler landet unverändert im Chunk. Prüfen Sie bei wichtigen Dateien daher Stichproben des extrahierten Textes mit eigenen Augen.

Beispielszenario: Ein Steuerbüro scannt alte Rechnungsvorlagen. Liest die OCR eine "8" als "3", trägt der Chunk einen falschen Betrag. Die Suche hält ihn für richtig, und das Modell wiederholt den Fehler selbstsicher. Verzichten Sie bei kritischen Dokumenten nie auf menschliche Kontrolle.

Wenn Sie dabei Unterstützung wünschen, schauen Sie sich unsere Lösung zur KI Dokumentenverarbeitung an.

Wie unterscheiden sich die Chunking Strategien?

Die folgende Tabelle stellt die vier Kernstrategien nebeneinander. Es sind allgemeine Tendenzen, und Ihre Ergebnisse hängen von Ihren Dokumenten ab.

Die Tabelle zeigt also, dass es keinen einzelnen Sieger gibt. Deshalb mischen die meisten Produktivsysteme Strategien. Zum Beispiel zerlegen sie zuerst nach Überschriften, schneiden große Abschnitte nach Länge und ergänzen am Schnitt eine kleine Überlappung.

Wie ändert sich das Chunking je nach Dokumenttyp?

Eine Regel passt nämlich nicht zu einem ganzen Archiv. Sie können den Startpunkt nach Dokumenttyp wählen. Das sind Erfahrungswerte aus der Praxis, keine Garantien.

• Kurze FAQ Einträge: Behalten Sie jedes Frage und Antwort Paar als einen Chunk, ohne weitere Zerlegung.
• Handbücher: Zerlegen Sie nach Überschriften und schneiden Sie lange Abschnitte an Absatzgrenzen.
• Verträge und Richtlinien: Ergänzen Sie Paragrafennummer und Überschrift in jedem Chunk und denken Sie an hierarchisches Chunking.
• Produktkataloge: Machen Sie jedes Produkt zu einem Chunk und schreiben Sie den Produktnamen in die Metadaten.
• Supportgespräche: Halten Sie die Gesprächsrunden zusammen, denn eine einzelne Nachricht bedeutet oft wenig.
• Besprechungsprotokolle: Nutzen Sie semantische Zerlegung oder Sprecherwechsel als Grenzen.

Beispielszenario: Ein Onlineshop lädt Produktseiten und Rückgaberichtlinie in dieselbe Vektordatenbank. Sind Produkte einzelne Chunks und die Richtlinie nach Überschriften geteilt, lassen sich beide Typen durchsuchen, ohne sich zu stören.

Schreiben Sie den Dokumenttyp außerdem in die Metadaten. So bauen Sie Filter wie "nur in Richtlinien suchen".

Welche Begriffe verwechselt man mit Chunking?

Chunking wird allerdings oft mit Nachbarbegriffen verwechselt. Viele fragen, was ist Chunking im Unterschied zu diesen Konzepten. Die Tabelle fasst die Unterschiede zusammen, und jeder Begriff hat seinen eigenen Artikel.

Chunking beantwortet "wie viel und woher". Ein Reranker beantwortet "welcher Treffer passt besser". Die gesamte Steuerung der Modelleingabe haben wir im Artikel zu Context Engineering beschrieben.

Wie wirken Chunking, Kosten und Aktualisierung zusammen?

Die Zerlegung prägt nicht nur die Qualität, sondern auch die laufenden Kosten. Je mehr Chunks entstehen, desto mehr Embedding Arbeit und Speicher fallen an. Überlappung treibt diese Zahl zudem weiter nach oben.

Auch Aktualisierungen spielen daher mit. Ändert sich ein Absatz eines Dokuments, müssen Sie bei willkürlichen Chunks womöglich die ganze Datei neu verarbeiten. Bei der Zerlegung nach Überschriften erneuern Sie nur die Chunks des geänderten Abschnitts.

Geben Sie deshalb jedem Chunk eine stabile ID. Leiten Sie sie aus Dokumentname und Abschnittsüberschrift ab, lassen sich alte Versionen leicht durch neue ersetzen.

Vergessen Sie außerdem gelöschte Dokumente nicht. Entfernen Sie eine Quelldatei, nehmen Sie auch ihre Chunks aus dem Index. Sonst beantwortet das System weiter Fragen zu einer Quelle, die es nicht mehr gibt.

Zu den Kosten prüfen Sie die aktuellen Preise auf der offiziellen Seite des Anbieters. Die Embedding Kosten folgen meist der Tokenzahl, daher schlägt unnötige Wiederholung direkt auf die Rechnung durch.

Übernehmen fertige Werkzeuge das Chunking für uns?

Teilweise. Viele Anbieter zerlegen Dateien automatisch, sobald Sie sie hochladen. Für einen schnellen Prototyp ist das also ideal. Trotzdem kennen Standardeinstellungen Ihre Dokumente nicht.

Die Dokumentation zur Dateisuche von OpenAI bietet zum Beispiel eine automatische Strategie. Gleichzeitig dürfen Sie Chunk Größe und Überlappung selbst festlegen. Welche Einstellungen es gibt und welche Standardwerte gelten, prüfen Sie in der offiziellen Dokumentation, denn beides kann sich ändern.

LangChain und LlamaIndex geben Ihnen mehr Kontrolle. Sie wählen Splitter, Trennzeichen und Metadatenfluss selbst. Dafür pflegen Sie dann aber Code und Einstellungen.

Unser praktischer Rat: Starten Sie mit der fertigen Einstellung und messen Sie dann die Ergebnisse. Sehen Sie Probleme, dann legen Sie die Regel von Hand fest. Wir erklären kein Werkzeug zum besten, denn die richtige Wahl hängt von Ihren Dokumenten und den Fähigkeiten Ihres Teams ab.

Wie messen Sie die Qualität des Chunkings?

Wählen Sie Chunking nicht, weil es gut aussieht. Messen Sie. Sie brauchen eine Liste mit Fragen, die echten Nutzerfragen ähneln, und den Vermerk, welches Dokument jede richtige Antwort enthält.

Fragen Sie dann: Taucht der richtige Chunk unter den ersten Treffern auf? Das nennt man also meist Trefferqualität. Die zweite Frage lautet, ob das Modell mit den gelieferten Chunks richtig antwortet.

Ändern Sie daher immer nur eine Einstellung. Variieren Sie die Chunk Größe, halten Sie die Überlappung fest. Sonst erkennen Sie nicht, woher ein Unterschied kommt.

Zu Bewertungsmethoden lesen Sie unseren Artikel über LLM Evals. Ziehen Sie außerdem regelmäßig echte Nutzerfragen als Stichprobe, denn das Archiv verändert sich mit der Zeit.

Zudem hilft die Fehleranalyse. Öffnen Sie falsch beantwortete Fragen einzeln und prüfen Sie, warum der richtige Chunk nicht kam. Meist liegt es an einem von zwei Dingen: Der Chunk war zu klein und hatte keinen Kontext, oder er war zu groß, und fremder Text übertönte den Schlüsselsatz. Diese Erkenntnis zeigt Ihnen somit die Richtung der Anpassung.

Manche falsche Antworten entstehen, weil das Modell etwas erfindet. Das haben wir im Artikel zur KI Halluzination behandelt. Manchmal ist jedoch nicht das Modell schuld, sondern ein fehlender Chunk.

Warum zählen Zugriffsrechte und Datenschutz beim Chunking?

Die Sicherheitsseite des Chunkings übersieht man dagegen oft. Zerlegen Sie ein Dokument, ist jeder Chunk ein eigener Datensatz. Dieser Datensatz trägt die Zugriffsregeln des Quelldokuments nicht von selbst mit.

Schreiben Sie die Regel nicht in den Chunk, könnte ein Unbefugter ein Stück eines nur für Führungskräfte bestimmten Dokuments sehen. Ergänzen Sie daher die Berechtigung in den Metadaten und filtern Sie jede Suche danach.

Personenbezogene Daten sind zudem ein eigenes Thema. Chunks liegen als weitere Kopie in der Vektordatenbank. Verlangt eine Person die Löschung ihrer Daten, müssen Sie auch diese Kopien finden und löschen. Eine Quell ID an jedem Chunk erleichtert das deshalb.

Das ist keine Rechtsberatung. Klären Sie bei Archiven mit personenbezogenen Daten Ihre Pflichten mit Ihrer eigenen Rechtsberatung.

Welche Chunking Fehler passieren am häufigsten?

Diese Fehler sehen wir in der Praxis am häufigsten.

• Alles mit einer Einstellung zerlegen: Ein Vertrag und eine FAQ folgen nicht derselben Regel.
• Eine Zahl übernehmen: Eine Chunk Größe aus einem anderen Artikel ungetestet anwenden.
• Auf Bereinigung verzichten: Kopfzeilen, Fußzeilen und Menütexte bleiben in den Chunks.
• Metadaten weglassen: Ohne Quelle, Datum und Berechtigung ist ein Chunk verwaist.
• Tabellen zeilenweise zerschneiden: Zahlen ohne Überschrift sagen nichts.
• Nie messen: Chunking nur nach einigen Modellantworten beurteilen.

Dazu kommt ein weiteres Risiko, die Sicherheit. Dokumente können versteckte Anweisungstexte enthalten, und diese beeinflussen das Modell, sobald ein Chunk es erreicht. Zu diesem Risiko lesen Sie unseren Artikel zu Prompt Injection.

Die meisten dieser Fehler fallen in der ersten Woche nicht auf. Das System läuft bei Demofragen gut und bricht ein, sobald echte Nutzer kommen. Testen Sie deshalb vor dem Start auch mit Fragetypen, die Sie noch nie gesehen haben.

Was ist Chunking: Checkliste für Ihr Dokumentenarchiv?

Nun kennen Sie die Antwort auf die Frage, was ist Chunking. Arbeiten Sie diese Liste der Reihe nach ab, wenn Sie Ihr eigenes Archiv vorbereiten.

1. Trennen Sie Ihre Dokumenttypen: Handbücher, Verträge, FAQs, tabellenlastige Berichte, Protokolle.
2. Wählen Sie für jeden Typ eine Zerlegungsregel. Starten Sie bei gegliederten Dateien mit Überschriften und bei Fließtext mit Überlappung.
3. Bereinigen Sie die Textextraktion: Entfernen Sie Kopfzeilen, Fußzeilen und Seitenzahlen.
4. Behandeln Sie Tabellen als unteilbare Einheiten und wiederholen Sie ihre Köpfe.
5. Ergänzen Sie in jedem Chunk Titel, Quelle, Version und Berechtigung.
6. Prüfen Sie die Eingabegrenze Ihres Embedding Modells in der Dokumentation des Anbieters.
7. Bereiten Sie eine realistische Fragenliste vor und testen Sie mehrere Größen damit.
8. Testen Sie, dass kein unbefugtes Dokument in eine Antwort gelangt.
9. Indizieren Sie bei einer Änderung nur die betroffenen Chunks neu.
10. Messen Sie in regelmäßigen Abständen mit Beispielfragen nach.

Die Reihenfolge zählt, denn jeder Schritt baut auf dem vorigen auf. Zuerst lernen Sie die Dokumente kennen, dann wählen Sie die Regel, und zuletzt messen Sie. Wer vor der Regelwahl misst, verliert also Zeit. Halten Sie außerdem die erste Version klein: Beginnen Sie mit zehn Dokumenten statt mit Hunderten, sehen Sie das Ergebnis und skalieren Sie dann.

Mit unserem Wörter Zähler bekommen Sie schnell ein Gefühl für die Chunk Länge. Er liefert nur einen groben Eindruck, denn das genaue Maß ist die Tokenzahl.

Wann sollten Sie sich beim Chunking Hilfe holen?

Ein kleines Set an Handbüchern selbst zu zerlegen und auszuprobieren ist vernünftig. Wächst die Zahl der Dokumente und die Vielfalt der Typen, wird daraus Ingenieursarbeit. Gescannte PDFs, Berechtigungsregeln und ständig wechselnde Archive kosten am meisten Aufwand.

Wir, Talha Aslan und unser Team, beginnen solche Projekte mit einer Sichtung Ihrer Dokumente. Danach bauen wir ein kleines Testset, messen die Ergebnisse und skalieren. Für Wissensbedarf im Unternehmen schauen Sie sich unseren KI Wissensassistenten an.

Hinweis: Dieser Artikel ist allgemeine Information und keine Rechtsberatung. Bevor Sie Dokumente mit personenbezogenen Daten an ein KI System geben, sprechen Sie mit Ihrer eigenen Rechtsberatung. Prüfen Sie aktuelle Grenzen und Standardeinstellungen der Anbieter immer in deren offizieller Dokumentation.

Was ist Chunking kurz zusammengefasst?

Kurz gesagt bedeutet Chunking, ein Dokument in sinnvolle Teile zu zerlegen, die zur Suche passen. Zu kleine Teile reißen den Kontext ab. Zu große Teile dagegen bringen Rauschen.

Sie können mit einfacher Zerlegung nach fester Länge beginnen. Danach wechseln Sie zu Überschriften und Überlappung, ergänzen Metadaten und schützen Ihre Tabellen. Probieren Sie semantisches Chunking dann erst, wenn die Messung es verlangt.

Die wichtigste Regel lautet: Übernehmen Sie keine Zahl von anderen, sondern testen Sie mit Ihren eigenen Dokumenten. Denn das richtige Chunking hängt von der Art des Dokuments und der Art der Frage ab.