Abrufgestützte Antworten (RAG) verstehen und auslegen

Voraussetzung

Keine Programmierkenntnisse nötig. Wer die Übungen an einem eigenen Bestand durchführen will, braucht Zugriff auf rund hundert eigene Dokumente.

Abschluss

Teilnahmebestätigung und Kompetenznachweis. Kein Zeugnis, kein anerkannter Abschluss.

Warum abrufen statt trainieren

Ziele

• den Unterschied zwischen Modellwissen und Bestandswissen benennen können
• einschätzen können, wann Abruf, wann Nachschulung und wann keines von beiden richtig ist
• die beiden Strecken Aufnahme und Abfrage voneinander trennen können

Inhalt

Ein Sprachmodell hat gelernt, wie Sprache und Fachgebiete im Allgemeinen aussehen, aber es kennt weder die eigene Preisliste noch die Fassung der Arbeitsanweisung von vergangener Woche. Drei Wege führen aus dieser Lage: den Bestand bei jeder Frage mitgeben (Abruf), das Modell nachschulen, oder die Frage anders stellen. Der Abruf gewinnt, wo der Bestand sich ändert, wo Fundstellen verlangt sind und wo Rechte je Person unterschiedlich sind. Die Nachschulung gewinnt, wo Form und Ton gelernt werden sollen, nicht Inhalt. Das Modul führt außerdem die Unterscheidung ein, die den ganzen Kurs trägt: die Aufnahmestrecke läuft einmal und bei jeder Änderung, die Abfragestrecke bei jeder einzelnen Frage. Fast alle Kosten- und Zeitfragen entscheiden sich daran, auf welcher der beiden Strecken ein Schritt liegt.

Übung

Fünf Fragen aus dem eigenen Betrieb aufschreiben und je Frage entscheiden: Modellwissen, Bestandswissen oder beides. Bei Bestandswissen die Quelle benennen, in der die Antwort tatsächlich steht.

Selbstprüfung

Warum löst eine Nachschulung das Problem veralteter Preislisten nicht?

Quellen: L01, L12

Der Bestand: Quellen, Abgrenzung, Aufnahme

Ziele

• einen Bestand nach Gültigkeit, Zuständigkeit und Freigabe abgrenzen können
• die typischen Verluste bei der Texterkennung erkennen
• Ordnungsangaben festlegen, die später Einschränkungen erlauben

Inhalt

Der häufigste Grund für schlechte Antworten ist ein schlechter Bestand, nicht ein schlechtes Modell. Dieses Modul geht die Aufnahme durch: welche Dateiarten mit welchen Mitteln gelesen werden, woran man erkennt, dass eine Tabelle beim Einlesen zu Fließtext zerfallen ist, und warum gescannte Altbestände gesondert behandelt gehören. Zweiter Teil sind die Ordnungsangaben. Quelle, Fassung, Gültigkeitsdatum, Abteilung und Freigabestufe werden bei der Aufnahme mitgeführt, weil sie später jede Einschränkung tragen: nur gültige Fassungen, nur eigene Abteilung, nur freigegebene Bereiche. Was hier fehlt, lässt sich später nicht nachrüsten, ohne den Bestand neu aufzunehmen.

Übung

Zwanzig eigene Dokumente auswählen und für jedes eintragen: Quelle, Fassung, gültig ab, gültig bis, zuständige Stelle, Freigabestufe. Anschließend prüfen, bei wie vielen mindestens ein Feld unbekannt ist.

Selbstprüfung

Weshalb gehört die Rechteprüfung in den Abruf und nicht in die Oberfläche?

Quellen: L22

Zerlegung: der größte Hebel

Ziele

• drei Zerlegungsarten unterscheiden und begründen können
• Abschnittslänge und Überlappung für einen gegebenen Bestand festlegen
• den mitgeführten Kopf als Standardmaßnahme anwenden

Inhalt

Zerlegung nach Zeichenzahl ist einfach und zerschneidet zuverlässig das Falsche. Zerlegung entlang der Gliederung folgt Überschriften, Absätzen und Tabellengrenzen und liefert Abschnitte, die für sich verständlich bleiben. Zerlegung nach Bedeutungswechsel misst, wo ein Text das Thema wechselt, und schneidet dort; sie kostet mehr und lohnt bei unstrukturierten Beständen. Als Anhaltswert für Handbücher und Normen haben sich Abschnitte von 500 bis 800 Zeichen mit etwa 15 Prozent Überlappung bewährt, bei stark gegliederten Vertragstexten eher kürzer. Unabhängig von der Art gilt der mitgeführte Kopf: Dokumenttitel, Überschriftenpfad, Fassung und Datum stehen in jedem Abschnitt, sonst steht ein Grenzwert ohne das Bauteil da, auf das er sich bezieht.

Übung

Ein eigenes Handbuch dreimal zerlegen (400, 800 und 1500 Zeichen) und je fünf Abschnitte blind lesen. Notieren, welche ohne Zusatzwissen verständlich sind. Danach den Kopf ergänzen und erneut lesen.

Selbstprüfung

Ein Abschnitt lautet vollständig: 'Der Wert darf 0,2 mm nicht überschreiten.' Was fehlt und auf welcher Stufe wird es ergänzt?

Quellen: L14, L22

Einbettung und Index

Ziele

• erklären können, was ein Einbettungsvektor abbildet und was nicht
• ein Einbettungsmodell nach Sprache, Fachwortschatz und Eingabelänge auswählen
• zwischen Datenbankerweiterung und eigener Vektordatenbank entscheiden

Inhalt

Ein Einbettungsmodell bildet Text auf einen Punkt in einem Raum mit einigen hundert bis einigen tausend Richtungen ab; Nähe in diesem Raum bedeutet ähnliche Bedeutung. Was der Raum nicht gut abbildet, sind Ziffernfolgen, Bestellnummern und Negationen. Daraus folgt unmittelbar die hybride Suche des nächsten Moduls. Bei der Modellwahl zählen drei Dinge: Deckt es Deutsch wirklich ab oder nur nebenbei, kennt es den Fachwortschatz, und wie lang darf die Eingabe sein. Für den Index gilt eine einfache Faustregel: bis in den unteren Millionenbereich an Abschnitten genügt eine vorhandene Datenbank mit Vektorerweiterung, darüber lohnt eine eigene Vektordatenbank. Ein Modellwechsel verlangt immer die vollständige Neuindexierung.

Übung

Zehn Begriffspaare aus dem eigenen Fach bilden, je eines sinnverwandt und eines nur ähnlich geschrieben. Vorhersagen, welche Paare ein Einbettungsmodell als nah einstuft, und die Vorhersage im Werkzeug prüfen.

Selbstprüfung

Warum findet die Vektorsuche die Bestellnummer 7A-2210-B oft nicht?

Quellen: L02, L18, L21

Abruf, hybride Suche und Nachsortierung

Ziele

• Stichwort- und Vektorsuche nach ihren Stärken einsetzen
• eine hybride Suche mit Rangzusammenführung aufbauen
• Nachsortierung samt Schwellenwert für Abstinenz einrichten

Inhalt

Die Stichwortsuche zählt Wörter und gewichtet seltene höher; sie trifft genau dort, wo wörtliche Übereinstimmung zählt. Die Vektorsuche trifft, wo dieselbe Sache anders heißt. Zusammengeführt werden beide über die Rangplätze, nicht über die Punktwerte, weil die Punktwerte nicht vergleichbar sind. Danach folgt die Nachsortierung: der Abruf liefert großzügig dreißig bis fünfzig Kandidaten, ein Paarbewerter ordnet sie neu, und nur die besten drei bis acht gehen weiter. Der Schwellenwert an dieser Stelle ist die einzige Stufe, an der ein System sauber sagen kann, dass der Bestand zur Frage nichts enthält.

Übung

Zwanzig eigene Fragen stellen, je zehnmal mit reiner Vektorsuche und mit hybrider Suche. Für jede Frage notieren, auf welchem Rang die richtige Stelle steht. Dann Nachsortierung zuschalten und vergleichen.

Selbstprüfung

Was passiert ohne Schwellenwert nach der Nachsortierung?

Quellen: L03, L13, L19, L20

Kontextbau, Erzeugung und Belegpflicht

Ziele

• die Reihenfolge im Kontext begründen können
• eine Arbeitsanweisung schreiben, die Abstinenz und Belege erzwingt
• Scheinbelege erkennen

Inhalt

Die ausgewählten Abschnitte werden gekennzeichnet, entdoppelt und geordnet in die Anweisung gesetzt. Wichtiges gehört an Anfang und Ende, weil Modelle Inhalte in der Mitte langer Vorlagen schlechter verwerten. Die Anweisung selbst legt drei Dinge fest: nur aus dem Vorgelegten antworten, jede Aussage mit Fundstelle versehen, und bei fehlender Grundlage das ausdrücklich sagen. Der schwierigste Fehler dieses Schritts ist der Scheinbeleg: eine Fundstelle wird angehängt, deckt die Aussage aber nicht. Er fällt weniger auf als eine offene Falschaussage und wird nur durch eine gesonderte Prüfung sichtbar.

Übung

Eine Arbeitsanweisung schreiben und an fünf Fragen prüfen, davon zwei, deren Antwort im Bestand nicht steht. Gewertet wird nur, ob das System bei diesen beiden abstinent bleibt.

Selbstprüfung

Warum ist mehr Kontext nicht zwingend besser?

Quellen: L11, L22

Güte messen: Prüfsatz, Maße, Regressionsschutz

Ziele

• einen eigenen Prüfsatz mit unbeantwortbaren Fällen aufbauen
• Abruf und Antwort getrennt messen
• eine Änderung nur nach Messung übernehmen

Inhalt

Ein Prüfsatz aus fünfzig bis zweihundert eigenen Fragen mit bekannter richtiger Fundstelle ist die Grundlage jeder Aussage über Güte. Ein Fünftel davon sind Fragen, die der Bestand nicht beantwortet; sie messen die Abstinenz. Gemessen wird getrennt: auf der Abrufseite, ob die richtige Stelle unter den ersten k Treffern ist und an welcher Position; auf der Antwortseite, ob jede Aussage durch die mitgegebenen Abschnitte gedeckt ist und ob die Frage tatsächlich beantwortet wurde. Jede Änderung an Zerlegung, Modell oder Abruf läuft vorher gegen diesen Satz. Ohne das ist der Betrieb einer solchen Anlage Meinungssache.

Übung

Einen Prüfsatz mit dreißig Fragen anlegen, davon sechs unbeantwortbar. Ausgangsmessung aufnehmen, dann eine einzige Änderung vornehmen und erneut messen.

Selbstprüfung

Ein System beantwortet neunzig Prozent der Prüffragen richtig, aber auch alle unbeantwortbaren. Wie ist das zu bewerten?

Quellen: L17, L24

Betrieb, Pflege und Rechtsrahmen

Ziele

• den laufenden Pflegeaufwand einer solchen Anlage benennen
• die Pflichten aus KI-Verordnung und Datenschutz einordnen
• einen Betrieb gegen Fehlbedienung und Missbrauch absichern

Inhalt

Eine Anlage dieser Art ist kein Vorhaben mit Enddatum, sondern ein Bestand mit Pflegeaufwand. Laufend anfallen: Neuaufnahme geänderter Dokumente, Ausmusterung ungültiger Fassungen, Pflege des Prüfsatzes, Auswertung der Rückmeldungen und die Beobachtung, ob die Fragen sich vom ursprünglichen Zuschnitt entfernen. Rechtlich zu beachten sind Kennzeichnung und Protokollierung nach der KI-Verordnung, die Rechtsgrundlage und Löschbarkeit personenbezogener Inhalte nach der Datenschutz-Grundverordnung, und die Frage, wem die Inhalte im Bestand gehören. Bei eigener Weitergabe an Dritte kommt die Lizenzlage der eingesetzten Werkzeuge hinzu; sie ist gesondert zu prüfen.

Übung

Einen Pflegeplan über zwölf Monate aufstellen: wer nimmt wann welche Quellen neu auf, wer pflegt den Prüfsatz, wann wird gemessen, wann wird ausgemustert.

Selbstprüfung

Welche laufende Aufgabe wird bei der Planung am häufigsten vergessen?

Quellen: L25, L26, L27

Literatur

1. L01 Lewis, P. et al. (2020): Retrieval-Augmented Generation for Knowledge-Intensive NLP Tasks. NeurIPS 2020. arXiv:2005.11401
2. L02 Karpukhin, V. et al. (2020): Dense Passage Retrieval for Open-Domain Question Answering. EMNLP 2020. arXiv:2004.04906 [Angabe nicht gegengelesen]
3. L03 Nogueira, R.; Cho, K. (2019): Passage Re-ranking with BERT. Preprint. arXiv:1901.04085 [Angabe nicht gegengelesen]
4. L04 Gao, L. et al. (2022): Precise Zero-Shot Dense Retrieval without Relevance Labels (HyDE). Preprint. arXiv:2212.10496 [Angabe nicht gegengelesen]
5. L05 Sarthi, P. et al. (2024): RAPTOR: Recursive Abstractive Processing for Tree-Organized Retrieval. ICLR 2024. arXiv:2401.18059
6. L06 Edge, D. et al. (2024): From Local to Global: A Graph RAG Approach to Query-Focused Summarization. Preprint. arXiv:2404.16130
7. L07 Asai, A. et al. (2023): Self-RAG: Learning to Retrieve, Generate, and Critique through Self-Reflection. ICLR 2024. arXiv:2310.11511
8. L08 Yan, S.-Q. et al. (2024): Corrective Retrieval Augmented Generation. Preprint. arXiv:2401.15884
9. L09 Singh, A. et al. (2025): Agentic Retrieval-Augmented Generation: A Survey on Agentic RAG. Preprint. arXiv:2501.09136
10. L10 Khattab, O.; Zaharia, M. (2020): ColBERT: Efficient and Effective Passage Search via Contextualized Late Interaction over BERT. SIGIR 2020. arXiv:2004.12832 [Angabe nicht gegengelesen]
11. L11 Liu, N. F. et al. (2023): Lost in the Middle: How Language Models Use Long Contexts. TACL. arXiv:2307.03172 [Angabe nicht gegengelesen]
12. L12 Gao, Y. et al. (2023): Retrieval-Augmented Generation for Large Language Models: A Survey. Preprint. arXiv:2312.10997
13. L13 Thakur, N. et al. (2021): BEIR: A Heterogeneous Benchmark for Zero-shot Evaluation of Information Retrieval Models. NeurIPS Datasets. arXiv:2104.08663 [Angabe nicht gegengelesen]
14. L14 Anthropic (2024): Introducing Contextual Retrieval. Anthropic, Fachbeitrag. Webquelle [Angabe nicht gegengelesen]
15. L15 Chan, B. J. et al. (2024): Don't Do RAG: When Cache-Augmented Generation is All You Need. Preprint. arXiv:2412.15605 [Angabe nicht gegengelesen]
16. L16 Trivedi, H. et al. (2023): Interleaving Retrieval with Chain-of-Thought Reasoning for Knowledge-Intensive Multi-Step Questions. ACL 2023. arXiv:2212.10509 [Angabe nicht gegengelesen]
17. L17 Es, S. et al. (2023): RAGAS: Automated Evaluation of Retrieval Augmented Generation. Preprint. arXiv:2309.15217 [Angabe nicht gegengelesen]
18. L18 Muennighoff, N. et al. (2022): MTEB: Massive Text Embedding Benchmark. EACL 2023. arXiv:2210.07316 [Angabe nicht gegengelesen]
19. L19 Cormack, G. V.; Clarke, C. L. A.; Büttcher, S. (2009): Reciprocal Rank Fusion Outperforms Condorcet and Individual Rank Learning Methods. SIGIR 2009. doi:10.1145/1571941.1572114 [Angabe nicht gegengelesen]
20. L20 Robertson, S.; Zaragoza, H. (2009): The Probabilistic Relevance Framework: BM25 and Beyond. Foundations and Trends in Information Retrieval 3(4). doi:10.1561/1500000019 [Angabe nicht gegengelesen]
21. L21 Malkov, Y. A.; Yashunin, D. A. (2018): Efficient and Robust Approximate Nearest Neighbor Search Using Hierarchical Navigable Small World Graphs. IEEE TPAMI. arXiv:1603.09320 [Angabe nicht gegengelesen]
22. L22 Barnett, S. et al. (2024): Seven Failure Points When Engineering a Retrieval Augmented Generation System. CAIN 2024. arXiv:2401.05856
23. L23 Shi, W. et al. (2023): REPLUG: Retrieval-Augmented Black-Box Language Models. Preprint. arXiv:2301.12652 [Angabe nicht gegengelesen]
24. L24 Yu, H. et al. (2024): Evaluation of Retrieval-Augmented Generation: A Survey. Preprint. arXiv:2405.07437
25. L25 Europäische Union (2024): Verordnung (EU) 2024/1689 über künstliche Intelligenz (KI-Verordnung). Amtsblatt der EU. EU 2024/1689 [Angabe nicht gegengelesen]
26. L26 ISO/IEC (2023): ISO/IEC 42001:2023 Information technology - Artificial intelligence - Management system. ISO. ISO/IEC 42001:2023 [Angabe nicht gegengelesen]
27. L27 Europäische Union (2016): Verordnung (EU) 2016/679 (Datenschutz-Grundverordnung). Amtsblatt der EU. EU 2016/679 [Angabe nicht gegengelesen]
28. L28 Izacard, G. et al. (2022): Atlas: Few-shot Learning with Retrieval Augmented Language Models. JMLR. arXiv:2208.03299 [Angabe nicht gegengelesen]