RAG-Evaluation
So bewerten Sie verankerte RAG-Antworten mit einem Nachweisblatt
Bewerten Sie RAG-Antworten Aussage für Aussage, erfassen Sie Zitate und sichtbare Abruflücken und wiederholen Sie denselben Test ohne erfundene Scores.
9 Min. Lesezeit
Von Michael Shamanoff, Gründer von Achla AI Zuletzt geprüft: 1. August 2026
Eine Checkliste zur RAG-Groundedness-Bewertung ist nur nützlich, wenn sie einen prüfbaren Nachweis hinterlässt. Teilen Sie für jede Testantwort die wesentlichen Aussagen auf, verknüpfen Sie jede Aussage mit einer exakten Quellpassage und formulieren Sie ein begrenztes Urteil samt Begründung. Speichern Sie anschließend Anfrage, abgerufene Passagen, Antwort, Zitate, Quellversionen und Systemversion, damit derselbe Fall später wiederholt werden kann. Das Ergebnis ist weder ein Genauigkeitswert noch ein Versprechen, dass eine Antwort wahr ist. Es ist ein Nachweisblatt auf Aussageebene: Es zeigt, was die sichtbaren Nachweise stützen, wo ein Zitat nur angehängt ist und wo das System einen ehrlichen Fehlschlag dokumentieren sollte.
Dieser Artikel beschreibt das Erfassungs- und Wiederholungsprotokoll. Er ersetzt bewusst nicht die breitere Erklärung zu verankerter KI-Suche, Zitaten und Antwortverzicht. Seine engere Aufgabe ist, eine Testantwort auditierbar zu machen, ohne einen Benchmark zu erfinden oder Urteile in einer Erfolgsquote zu verstecken.
Wer hat dieses Protokoll erstellt, wie und warum?
Michael Shamanoff, Gründer von Achla AI, ist der genannte Autor. Das Protokoll basiert auf dem vom Eigentümer freigegebenen Redaktionsbriefing, dem aktuellen Produktartefakt und offizieller Dokumentation von Microsoft, Ragas und AWS. Die Nachfrage nach dem Thema bleibt eine experimentelle Hypothese, da keine GSC-, Keyword-Planner-, lizenzierten Volumen- oder stabilen Autocomplete-Daten verfügbar waren.
Die Methode zerlegt eine Antwort in kleine Nachweisentscheidungen, die Prüfer reproduzieren können. Bei dieser Bewertung einer verankerten Antwort kann eine verlinkte Quelle thematisch relevant sein und dennoch den danebenstehenden Satz nicht stützen. Der Zweck bleibt begrenzt: sichtbare Retrieval- und Unterstützungsprobleme in einem festen Testfall diagnostizieren. Eine kompakte Definition finden Sie vorab im Glossar zur KI-Suche.
Beginnen Sie mit einem festen Nachweisfall
Beginnen Sie nicht mit einem Score, sondern mit einem eingefrorenen Fall. Ein RAG-Evaluation-Testset sollte exakte Anfrage, Version der Quellensammlung, abgerufene Passagen in Rückgabereihenfolge, generierte Antwort und sichtbare Zitate enthalten. Geben Sie außerdem den erwarteten Nachweiszustand an: welche Passagen eine sorgfältige Antwort braucht und welchen angefragten Punkt die Sammlung nicht beantworten kann.
Der folgende synthetische Fall wird im ganzen Artikel verwendet. Er beschreibt einen erfundenen Shop und ist weder ein Achla-AI- noch ein Kundenergebnis.
Anfrage Q-017: „Kann ich einen Final-Sale-Artikel nach 30 Tagen zurückgeben, und wann beginnt die Erstattungsbearbeitung?“
Quelle D-01, `/returns`, Version `returns-v4`, Passage `p04`: „Direkt im Beispielshop gekaufte Artikel können innerhalb von 30 Kalendertagen nach Lieferung zurückgegeben werden. Final-Sale-Artikel sind ausgeschlossen.“
Quelle D-02, `/refunds`, Version `refunds-v2`, Passage `p07`: „Die Erstattungsbearbeitung beginnt, nachdem der zurückgegebene Artikel das Lager erreicht hat.“
Erwarteter Nachweiszustand: D-01 stützt ein 30-Tage-Fenster für berechtigte Direktkäufe und schließt Final-Sale-Artikel ausdrücklich aus. D-02 stützt das Startauslöser-Ereignis der Erstattungsbearbeitung. Keine Passage nennt die Bearbeitungsdauer.
Erfasste Antwort A-017: „Sie können jeden Artikel innerhalb von 30 Tagen zurückgeben, einschließlich Final-Sale-Artikeln.[D-01] Ihre Erstattung beginnt mit dem Absenden des Antrags.[D-02] Sie ist normalerweise innerhalb von fünf Tagen abgeschlossen.“
Der Fall ist absichtlich fehlerhaft. Sein Wert liegt darin, dass jedes spätere Urteil auf festen Text verweist. Testet Ihr Team zuvor eine Vokabularabweichung, erklärt der Leitfaden zu semantischem Retrieval bei anderer Wortwahl, warum Retrieval und Antwortgenerierung getrennt betrachtet werden sollten.
Teilen Sie die Antwort in wesentliche Aussagen auf
Eine wesentliche Aussage könnte die Entscheidung eines Lesers verändern, wenn sie falsch wäre oder fehlte. Trennen Sie Konjunktionen, Mengen, Ausschlüsse, Daten, Kausalbehauptungen und Verfahrensschritte, wenn sie auf unterschiedlichen Nachweisen beruhen. Bewerten Sie nicht einen ganzen Absatz als Einheit.
Für A-017 enthält das Blatt vier Aussagen:
- C-017-1: Jeder Artikel kann zurückgegeben werden.
- C-017-2: Das Rückgabefenster beträgt 30 Tage.
- C-017-3: Die Erstattungsbearbeitung beginnt beim Absenden des Antrags.
- C-017-4: Die Erstattungsbearbeitung ist normalerweise innerhalb von fünf Tagen abgeschlossen.
„Einschließlich Final-Sale-Artikeln“ gehört zu C-017-1, weil es „jeden Artikel“ erweitert und einem ausdrücklichen Ausschluss widerspricht. Die 30-Tage-Aussage steht separat, weil die Passage dieses Zeitfenster unter den genannten Umfangsgrenzen stützt. Die Dauer steht separat, weil keine abgerufene Passage eine Dauer nennt.
Diese Zerlegung verhindert, dass ein gestütztes Fragment ein ungestütztes legitimiert. Sie macht auch Meinungsverschiedenheiten sichtbar. Ein Prüfer kann die Grenze von C-017-1 infrage stellen, ohne das Urteil zu C-017-2 stillschweigend zu ändern. Bei wissenschaftlichen oder technischen Sammlungen ist dieselbe Disziplin zentral für einen zitatbasierten Rechercheablauf, auch wenn Fachexperten entscheiden müssen, was wesentlich ist.
Erstellen Sie das Nachweisblatt auf Aussageebene
Verwenden Sie eine Zeile je wesentlicher Aussage. Ein praxistaugliches Blatt enthält:
- Fall-, Anfrage-, Antwort- und Aussage-ID;
- aus der erfassten Antwort kopierten Aussagewortlaut;
- angehängte Zitat-IDs genau wie dargestellt;
- abgerufene Quellen-ID, Quellversion, Passage-ID und Rückgaberang;
- exakten, geprüften Passagentext;
- Urteil und Grund zur Zitatzuordnung;
- semantisches Unterstützungsurteil mit schriftlicher Begründung;
- auf sichtbare Nachweise begrenzte Diagnose;
- Prüfer, Prüfzeit und offenen Hinweis.
Das Blatt für den Fall sieht so aus:
| Aussage | Angehängtes Zitat | Exakte Quellpassage | Zuordnung | Semantische Unterstützung | Schriftliche Begründung |
|---|---|---|---|---|---|
| C-017-1: Jeder Artikel kann zurückgegeben werden, einschließlich Final Sale. | D-01 | D-01 returns-v4 p04: „Direkt im Beispielshop gekaufte Artikel können innerhalb von 30 Kalendertagen… Final-Sale-Artikel sind ausgeschlossen.“ | angehängt | nicht gestützt | Die Passage schließt Final-Sale-Artikel ausdrücklich aus und stützt deshalb „jeden Artikel“ nicht. |
| C-017-2: Das Rückgabefenster beträgt 30 Tage. | D-01 | D-01 returns-v4 p04, dieselbe erfasste Passage | angehängt | teilweise gestützt | Das Zeitfenster steht in der Passage; die Antwort lässt Direktkauf- und Final-Sale-Grenzen aus. |
| C-017-3: Die Erstattung beginnt beim Absenden des Antrags. | D-02 | D-02 refunds-v2 p07: „Die Erstattungsbearbeitung beginnt, nachdem… das Lager erreicht hat.“ | angehängt | nicht gestützt | Die Antwort nennt das Absenden; die Passage den Lagereingang. |
| C-017-4: Die Bearbeitung endet normalerweise in fünf Tagen. | keines | Keine abgerufene Passage | fehlt | nicht gestützt | Der sichtbare Nachweis enthält keine Dauer. |
Bewahren Sie die exakte Passage im Testdatensatz auf, nicht nur die Seiten-URL. Seiten können mehrere ähnlich relevante Abschnitte enthalten; ohne präzisen Locator kann ein Wiederholungstest sie nicht unterscheiden. Bei stabilen Abschnittsankern speichern Sie URL, Anker und Passage-ID. Andernfalls speichern Sie Content-Hash und genug Umgebungstext, um die Passage nach einer Bearbeitung wiederzufinden.
Offizielle Frameworks verwenden verwandte Trennungen. Microsofts Dokumentation der RAG-Evaluatoren trennt Retrieval- von Antwortbewertung. Ragas beschreibt Faithfulness über Aussagen, die der abgerufene Kontext stützen kann. AWS dokumentiert getrennte retrieve-only- und retrieve-and-generate-Modi. Diese Quellen helfen, Retrieval-Relevanz und RAG-Faithfulness zu trennen; sie liefern keinen universellen Schwellenwert für dieses Blatt.
Trennen Sie Zitatzuordnung von semantischer Unterstützung
„Angehängt“ beantwortet eine mechanische Frage: Hat die erfasste Antwort eine Quellen-ID mit der Aussage oder dem Satz verbunden? „Gestützt“ beantwortet die semantische Frage: Rechtfertigt die exakte Passage die Aussage mit wichtigem Umfang, Ausschlüssen, Mengen und Zeitpunkten?
Führen Sie diese Felder nie zusammen. C-017-1 hat ein angehängtes Zitat, dessen Passage die Aussage jedoch widerlegt. C-017-4 hat weder Zitat noch abgerufene Unterstützung. In einem anderen Fall könnte eine abgerufene Passage die Aussage stützen, obwohl kein Zitat gerendert wird; das wäre ein Zuordnungsproblem, kein Beweis für einen Retrieval-Fehler.
Verwenden Sie vier begrenzte semantische Urteile:
- gestützt: Die sichtbare Passage stützt die wesentliche Aussage und wichtige Einschränkungen.
- teilweise gestützt: Sie stützt einen trennbaren Teil, lässt aber eine wesentliche Einschränkung, einen Umfang oder Zusammenhang offen.
- nicht gestützt: Die sichtbaren Passagen rechtfertigen die Aussage nicht oder widersprechen ihr.
- nicht beurteilbar: Der Datensatz ist unvollständig oder die Entscheidung verlangt Expertise beziehungsweise Nachweise außerhalb des Falls.
Jedes Urteil braucht eine schriftliche Begründung. Das Label ist ein Index, nicht die Analyse. „Nicht beurteilbar“ muss Fehlendes benennen und darf keine bequeme Ersatzhandlung sein.
Diagnostizieren Sie nur, was der sichtbare Datensatz erlaubt
Das Nachweisblatt kann ein Symptom aufdecken, ohne seine verborgene Ursache zu beweisen. Formulieren Sie vorsichtig und trennen Sie Beobachtung von Hypothese.
| Sichtbarer Datensatz | Begrenzte Beobachtung | Mögliche nächste Prüfung – keine bewiesene Ursache |
|---|---|---|
| Erwartete Passage fehlt in den Retrieval-Ergebnissen | Der nötige Nachweis war der Antwortstufe in diesem Lauf nicht sichtbar. | Sammlungsmitgliedschaft, Indexversion, Anfrage, Filter und Ergebnistiefe prüfen. |
| Erwartete Passage wurde abgerufen, aber die Antwort lässt den Ausschluss aus | Die Antwort bewahrt eine sichtbare Einschränkung nicht. | Generierungsanweisungen und gespeicherte Antworttrace prüfen. |
| Zitat verweist auf eine der Aussage widersprechende Passage | Zitatzuordnung belegt keine Unterstützung. | Zitatwahl und Aussage-Passage-Zuordnung prüfen. |
| Stützende Passage wurde abgerufen, aber kein Zitat erscheint | Im Fall liegt sichtbare Unterstützung vor, die Quellenanzeige fehlt. | Zitatrendering und gespeicherte Zitatdaten prüfen. |
| Passage-Locator liefert beim Wiederholen anderen Text | Quellendrift verhindert einen gleichartigen Vergleich. | Erfasste Quellversion wiederherstellen oder Vergleich als nicht vergleichbar markieren. |
| Sammlung enthält den angefragten Fakt nicht | Der begrenzte Quellensatz kann keine Antwort stützen. | Einen ehrlichen Fehlschlag oder klar begrenzte Antwort erwarten. |
Die Matrix ist kein automatischer Evaluator und behauptet nicht, welche Komponente den Fehler verursachte. Sie grenzt die nächste Prüfung ein. Das hilft besonders beim Wechsel von der Seitensuche zur Antwortoberfläche; siehe warum Website-Suche Seiten findet, Besucher aber Antworten brauchen.
Erfassen Sie einen ehrlichen Fehlschlag als vollwertiges Ergebnis
Ein Test auf ehrliches Scheitern enthält einen Fall mit fehlendem angefragtem Fakt. Bei Q-017 wird die Fünf-Tage-Dauer nicht gestützt. Eine begrenzte Antwort könnte lauten: „Die verfügbaren Quellen sagen, dass die Bearbeitung nach Eingang des zurückgegebenen Artikels im Lager beginnt, nennen aber keine Abschlussdauer.“ Das Blatt sollte den gestützten Startpunkt und die nicht verfügbare Dauer getrennt erfassen.
Im aktuellen Achla-AI-Artefakt verlangt der primäre Grounding-Pfad Antworttext zusammen mit Zitaten, bevor er als verankert gilt; das Widget besitzt auch einen sichtbaren Keine-Antwort-Zustand und kann Quellenlinks darstellen. Das beschreibt die geprüfte lokale Implementierung, keine Leistungs- oder Zuverlässigkeitsbehauptung. Auch ein Fehlschlag braucht Wiederholungsmetadaten, weil eine spätere Quellversion den fehlenden Fakt ergänzen kann.
Speichern Sie Wiederholungs- und Versionsmetadaten
Eine Wiederholung ist nur nützlich, wenn bekannt ist, was gleich blieb und was sich änderte. Speichern Sie:
- Anfragewortlaut und Anfrage-ID;
- Antworttext und Antwort-ID;
- geordnete abgerufene Passagen, gegebenenfalls sichtbare Scores und Filter;
- gerenderte Zitat-IDs und ihre Satz- oder Aussagezuordnung;
- Collection-Snapshot-ID, Quell- und Passage-IDs, Versionen und Content-Hashes;
- Kennungen der Retrieval- und Generierungskonfiguration;
- Prompt-/Anweisungsversion, erfasste Modellkennung und Anwendungsrevision;
- Locale, Testzeit, Prüfer und Schema-Version des Nachweisblatts.
Erstellen Sie beim RAG-Regressionswiederholungstest eine neue Run-ID. Überschreiben Sie weder alte Antwort noch alte Passagen. Vergleichen Sie Aussagezeilen nur bei kompatiblen Fällen. Wenn sich Anfrage, Quell-Snapshot oder Locator-Text geändert hat, kennzeichnen Sie diese Dimension. Ein geändertes Ergebnis kann eine Untersuchung verdienen, doch das Blatt allein erklärt nicht die Ursache.
Machen Sie daraus keine Rangliste. Mitteln Sie Urteile nicht zu einem erfundenen Score, definieren Sie keinen beliebigen Schwellenwert und veröffentlichen Sie keine Erfolgsquote aus einem nicht repräsentativen Testset. Aggregationen benötigen ein separat genehmigtes Evaluationsdesign; dieses Blatt soll zuvor Nachweis und Urteil erhalten.
Stellen Sie das Audit-Paket zusammen
Das kleinste nützliche Audit-Paket enthält festen Fall, rohe Retrieval-Ausgabe, erfasste Antwort, gerenderte Zitate, ausgefüllte Aussagezeilen, Prüferhinweise, Versionsmetadaten und Wiederholungsvergleich. Fügen Sie das Blattschema und ein Manifest mit Datei-Hashes hinzu. Fehlt etwas, listen Sie es als fehlend, statt es aus dem Gedächtnis zu rekonstruieren.
Bei einem begrenzten Dokumentationskorpus gehört das Paket zum operativen Eigentümer des Dokumentationssuch-Workflows, damit Nachweis und Quellversionsverlauf nicht getrennt werden.
Führen Sie Prüferentscheidungen append-only oder versioniert. Spätere Prüfer können Aussageaufteilung oder Urteil anders sehen; bewahren Sie ursprüngliche Zeile und dokumentierte Revision auf. Diese Historie ist wertvoller als ein sauber wirkendes Blatt ohne nachvollziehbare Entscheidungen.
Einschränkungen
Dieses Protokoll bewertet Unterstützung gegen erfasste sichtbare Nachweise. Es beweist nicht, dass eine Quelle sachlich korrekt, aktuell, vollständig oder für eine folgenreiche Entscheidung geeignet ist. Es erkennt nicht jede relevante Quelle, die das Retrieval verpasst haben könnte. Es ersetzt weder Fachprüfung, Sicherheits-, Datenschutz- oder Barrierefreiheitsprüfung noch Latenz- und Nutzererfahrungsbewertung.
Aussagegrenzen und semantische Urteile verlangen Beurteilung. Prüfer können besonders bei nur impliziten Zusammenhängen vernünftig unterschiedlicher Meinung sein. Dokumentieren Sie Streitpunkt und Grund. Machen Sie aus diesem Protokoll keinen automatischen Richter oder universellen RAG-Benchmark ohne separat validierte Methode.
Verwenden Sie das Blatt für einen begrenzten Website-Korpus
Wählen Sie einen kleinen versionierten Satz realer Besucherfragen, nehmen Sie mindestens eine bekannte Nachweislücke auf und bewahren Sie für jede Wiederholung das Audit-Paket. So entsteht eine prüfbare Checkliste für die RAG-Groundedness-Bewertung, ohne mehr zu behaupten, als der Datensatz zeigt.
Wenn Sie den Ablauf mit eigenem Content testen möchten, verbinden Sie Ihre Website und belassen Sie Fakten-, Sicherheits- und Veröffentlichungsentscheidungen bei menschlichen Verantwortlichen.
