RAG: eine KI, die die Dokumente deines Unternehmens kennt

Das erwartet dich in dieser Lektion

1. RAG: Die KI sucht, bevor sie antwortet

   RAG (Retrieval-Augmented Generation) sucht in deinen Dokumenten die nützlichen Abschnitte und gibt sie der KI zusammen mit der Frage.

2. Zuerst: Passt alles in den Kontext?

   Haben deine Dokumente zusammen weniger als etwa 200.000 Tokens, rund 500 Seiten, ist es oft besser, sie ganz mit Cache mitzugeben.

3. Der schnelle Weg: die Dateisuche der API

   OpenAI und Google bieten ein fertiges RAG: Du lädst die Dateien hoch, und das Modell durchsucht sie selbst und nennt die Quelle.

4. Schritt 1: die Dokumente zerlegen

   Baust du dein eigenes RAG, zerlegst du die Dokumente zuerst in Abschnitte von einigen hundert Tokens: Gesucht und geliefert wird Abschnitt für Abschnitt.

5. Schritt 2: Embeddings und Vektordatenbank

   Ein Embedding verwandelt jeden Abschnitt in eine Zahlenliste, die seine Bedeutung zusammenfasst: Ähnliche Texte liegen nah beieinander.

6. Hybride Suche: Wörter plus Bedeutung

   Kombiniere die Suche nach exakten Wörtern (BM25, wie bei klassischen Suchmaschinen) mit der nach Bedeutung und führe beide Listen zusammen.

7. Reranking: ein zweiter, klügerer Filter

   Ein Reranker liest die Frage zusammen mit jedem Kandidaten neu und sortiert sie nach echter Relevanz, bevor sie an die KI gehen.

8. Kontextuelles Retrieval: jeder Abschnitt mit Kontext

   Vor dem Indexieren ergänzt die KI jeden Abschnitt um ein oder zwei Sätze, die erklären, aus welchem Dokument und Kapitel er stammt.

9. Zusammenfassung

   Fang mit dem Einfachsten an, das funktioniert, und füge Techniken nur hinzu, wenn deine Tests zeigen, dass sie nötig sind.