Eine KI-Wissensdatenbank mit echten Nutzerfragen prüfen

Eine KI-Wissensdatenbank ist nicht schon brauchbar, weil sie eine grosse Dokumentensammlung durchsuchen kann. Sie muss die tatsächlichen Fragen der vorgesehenen Nutzer mit passenden Quellen beantworten und ihre Grenzen erkennen. Die Prüfung beginnt deshalb mit einem nachvollziehbaren Fragensatz aus dem Arbeitsalltag und einer fachlich bestätigten Erwartung für jede Frage.

Dieser Artikel beschreibt einen eigenen Abnahmeplan für einen internen Wissensassistenten. Das Beispiel einer Serviceorganisation ist fiktiv. Es enthält keine realen Nutzerdaten und keine behauptete Erfolgsquote. Die fachliche Grenze der Antworten behandelt ergänzend Welche Fragen ein Wissensassistent unbeantwortet lassen muss.

Nutzerfragen liefern einen anderen Test als Dokumenttitel

Eine Frage wie "Wie lautet die Reisekostenrichtlinie?" passt direkt zu einem Dokumenttitel. Im Alltag fragt jemand eher: "Ich fahre morgen direkt vom Kunden nach Hause. Was muss ich einreichen?" Die zweite Frage enthält einen Kontext und verlangt eine konkrete Zuordnung. Ein Test nur mit Dokumenttiteln prüft diese Schwierigkeit nicht.

Sammle deshalb tatsächlich auftretende Fragen aus freigegebenen Kanälen. Erhalte die sprachliche Form, soweit sie für das Verständnis wichtig ist. Entferne unnötige persönliche Angaben nach den internen Regeln. Wenn du eine Frage veränderst oder nachbaust, kennzeichne den Eingriff im Testregister.

Die Sammlung ist kein automatischer Querschnitt aller Bedürfnisse. Häufige Fragen in einem Supportkanal können andere Fragen verdrängen, die Nutzer aus Unsicherheit gar nicht stellen. Ergänze deshalb Gespräche mit den vorgesehenen Nutzergruppen und gezielte Randfälle. Die Herkunft jeder Frage bleibt sichtbar.

Den geplanten Einsatz eingrenzen

Lege fest, welche Fachbereiche, Dokumente und Nutzerrollen der Assistent bedienen soll. Eine allgemeine Firmenwissensdatenbank ist als erster Testscope meist zu unscharf. Eine begrenzte Sammlung freigegebener Serviceanweisungen erlaubt klarere Referenzen und nachvollziehbare Zuständigkeiten.

Definiere auch, was nicht beantwortet werden darf. Dazu gehören Fragen ausserhalb des Quellenbestands, Fragen mit fehlenden Voraussetzungen und Inhalte, auf die die jeweilige Rolle keinen Zugriff hat. Eine gute Abnahme prüft diese Grenzen ebenso ausdrücklich wie erfolgreiche Antworten.

Die Zugriffsprüfung ist eine eigene Aufgabe. Der Beitrag Zugriffsrechte vor dem KI-Wissensassistenten prüfen vertieft sie. Ein fachlich korrektes Ergebnis ist unzulässig, wenn es Informationen aus einem für den Nutzer gesperrten Bereich enthält.

Für jede Frage eine Referenz anlegen

Die Referenz enthält die erwartete Kernaussage, die gültige Quellenstelle und die zulässige Reaktion bei fehlenden Angaben. Sie ist kein starrer Mustertext. Mehrere Formulierungen können fachlich gleichwertig sein. Entscheidend ist, ob dieselbe belegte Information und dieselbe Einschränkung erhalten bleiben.

Die Fachverantwortung bestätigt die Referenz. Wenn zwei Fachpersonen unterschiedliche Antworten geben, ist zunächst die Wissensgrundlage unklar. Der Assistent darf diesen Konflikt nicht durch eine zufällige Auswahl verdecken. Die Frage wird als offener Referenzfall geführt, bis die Gültigkeit geklärt ist.

Notiere den Quellenstand. Eine richtige Antwort auf Basis einer inzwischen abgelösten Regel ist für den aktuellen Einsatz falsch. Die Referenz muss daher die gültige Version und gegebenenfalls den Geltungszeitraum enthalten. Ein blosser Dokumentlink ohne Stand reicht für veränderliche Regeln nicht aus.

Suche und Antwort getrennt bewerten

Ein Assistent kann die richtige Passage finden und daraus eine falsche Antwort bilden. Er kann auch eine plausible Antwort erzeugen, obwohl die entscheidende Passage gar nicht gefunden wurde. Diese Fälle brauchen unterschiedliche Korrekturen. Deshalb muss die Prüfung die gefundenen Quellen und den Antworttext getrennt betrachten.

Die Forschungsarbeit RAGAs: Automated Evaluation of Retrieval Augmented Generation von 2024 beschreibt eine automatisierte Bewertung verschiedener Aspekte von Retrieval und Generierung. Sie ist kein Beleg dafür, dass ein einzelner automatischer Wert die betriebliche Abnahme ersetzt. Die Trennung der Prüffragen ist für den folgenden eigenen Ablauf hilfreich.

Frage zuerst: Ist die benötigte Information im gefundenen Kontext enthalten? Danach: Entspricht die Antwort diesem Kontext? Schliesslich: Beantwortet sie die Nutzerfrage unter den richtigen Bedingungen? Ein Quellenlink neben der Antwort genügt nicht, wenn die zitierte Passage die Aussage nicht trägt.

Ein fiktives Testregister

Das Serviceteam beginnt mit zwanzig Fragen. Zwölf sind mit den freigegebenen Unterlagen beantwortbar. Vier liegen ausserhalb des Bestands. Zwei enthalten widersprüchliche aktuelle Quellen. Zwei betreffen Informationen, die für die getestete Rolle nicht zugänglich sind. Diese Verteilung ist ein konstruiertes Beispiel, kein empfohlener Branchenstandard.

Angenommen, zehn der zwölf beantwortbaren Fragen werden korrekt beantwortet. Das ergibt rund 83,3 Prozent innerhalb dieser Klasse. Wenn alle acht Grenzfälle richtig behandelt werden, sind achtzehn von zwanzig Verhaltenserwartungen erfüllt, also neunzig Prozent insgesamt. Beide Zahlen sind korrekt, beantworten aber unterschiedliche Fragen.

Die Gesamtquote darf die zwei Fehler bei beantwortbaren Fragen nicht verdecken. Ebenso darf eine bewusst verweigerte Antwort nicht pauschal als Fehler zählen. Berichte deshalb Klassen und Rohzahlen. Kritische Zugriffsverletzungen erhalten eine eigene Bewertung und werden nicht durch viele richtige Standardantworten ausgeglichen.

Fragen für Entwicklung und Abnahme trennen

Mit einem Entwicklungsset verbesserst du Quellenaufbereitung, Suchlogik und Antwortauftrag. Ein separates Prüfset bleibt zunächst unbenutzt. Wenn das Team ständig dieselben Fragen optimiert, zeigt ein gutes Ergebnis vor allem die Anpassung an diese Fälle. Neue Nutzerfragen können weiterhin scheitern.

Sobald ein Prüffall zur Fehlerbehebung verwendet wird, gehört er zum bekannten Bestand. Er bleibt als Regressionstest erhalten. Für die nächste unabhängige Einschätzung brauchst du zusätzliche Fragen. Dokumentiere diese Rollen im Register, damit ein alter Entwicklungsfall nicht später als unbekannter Abnahmefall erscheint.

Die Trennung muss auch verwandte Fragen berücksichtigen. Zwei nahezu identische Formulierungen desselben Falls sind keine völlig unabhängigen Aufgaben. Wenn eine Variante im Entwicklungsset liegt, muss die Interpretation des ähnlichen Prüffalls diese Nähe berücksichtigen. Eine hohe Zahl allein macht das Set nicht vielfältig.

Die gefundenen Quellen sichtbar prüfen

Bei einer falschen Antwort untersuchst du zuerst die Fundstellen. Fehlt die richtige Passage, prüfe Dokumentauswahl, Aktualität, Aufteilung und Suchfilter. Ist die Passage vorhanden, liegt der nächste Blick auf der Verarbeitung und Formulierung. Diese Diagnose verhindert, dass jedes Problem mit einem längeren Prompt beantwortet wird.

Prüfe auch unnötige Fundstellen. Eine grosse Menge ähnlicher alter Dokumente kann die Zuordnung erschweren. Der Assistent braucht für die konkrete Frage die passenden und gültigen Informationen. Mehr Kontext ist nicht automatisch besser. Die Auswahl muss sich am belegten Informationsbedarf orientieren.

Der Beitrag Welche Unterlagen braucht die KI wirklich? behandelt diese Vorbereitung. Für die Abnahme zählt jedoch das tatsächliche Ergebnis: Welche Passagen wurden gefunden, und welche davon tragen die Antwort? Eine gute Dokumentenordnung ist eine Voraussetzung, kein alleiniger Qualitätsnachweis.

Automatische Bewertung als Hilfsmittel begrenzen

Ein weiteres Sprachmodell kann Antworten vorsortieren oder mögliche Abweichungen markieren. Es ist aber kein unabhängiger Wahrheitsbeweis. Prüfe seine Bewertung zunächst an fachlich bestätigten Beispielen. Achte besonders darauf, ob es sprachlich überzeugende falsche Antworten zu gut bewertet oder korrekte Ablehnungen abwertet.

Halte fest, welches Bewertungsverfahren verwendet wird. Änderungen am Bewertungsmodell können die Kennzahlen verändern, obwohl der Wissensassistent unverändert bleibt. Ein Vergleich über mehrere Versionen braucht deshalb eine stabile oder nachvollziehbar neu kalibrierte Bewertung.

Für kritische Fälle bleibt eine fachliche Prüfung nötig. Ein automatischer Gesamtscore darf weder Zugriffsregeln noch verbindliche Ausschlusskriterien ersetzen. Nutze die Automatisierung dort, wo sie die Aufmerksamkeit auf relevante Fälle lenkt, und dokumentiere die verbleibenden menschlichen Prüfungen.

Wiederholungen und Formulierungsvarianten einbauen

Nutzer formulieren dieselbe Frage unterschiedlich. Prüfe ausgewählte Varianten mit Abkürzungen, unvollständigen Angaben oder umgangssprachlichen Begriffen. Der Assistent muss nicht jede Formulierung erraten. Er muss bei fehlendem Kontext eine passende Rückfrage stellen, statt eine beliebige Interpretation als sicher auszugeben.

Wiederhole einige Fragen, um schwankende Ergebnisse zu erkennen. Halte Modell, Quellenstand und Einstellungen fest. Unterschiedliche Worte sind nicht automatisch problematisch. Unterschiedliche fachliche Antworten auf dieselbe belegte Frage benötigen dagegen eine Erklärung oder eine engere Einsatzgrenze.

Vermeide das nachträgliche Auswählen des besten Durchlaufs. Wenn erst die dritte Antwort richtig ist, gehört das in den Bericht. Die späteren Nutzer erhalten nicht automatisch die beste Ausgabe einer Testserie. Ein Betrieb mit Wiederholungen braucht eine definierte Regel und eine passende Aufwandsmessung.

Den Nutzen aus Sicht der Nutzer prüfen

Eine fachlich richtige Antwort kann unbrauchbar sein, wenn sie die eigentliche Handlung nicht verständlich macht. Lass Nutzer mit der Antwort eine passende Aufgabe bearbeiten oder erklären, was sie als Nächstes tun. So wird sichtbar, ob Quellen und Einschränkungen verständlich sind.

Erfasse auch unnötige Rückfragen und Sackgassen. Eine Ablehnung ist bei fehlenden Quellen richtig, braucht aber einen sinnvollen nächsten Weg. Der Assistent darf keine Zuständigkeit erfinden. Wenn der Klärungsweg intern festgelegt ist, muss er diesen korrekt nennen. Wenn er fehlt, bleibt das eine organisatorische Lücke.

Trenne Nutzungszufriedenheit von fachlicher Qualität. Eine schnelle, freundliche Antwort kann beliebt und falsch sein. Eine vorsichtige Antwort kann weniger angenehm wirken und trotzdem die richtige Grenze ziehen. Die Abnahme muss beide Sichtweisen sichtbar halten, statt nur eine Zufriedenheitsnote zu verwenden.

Änderungen kontrolliert nachprüfen

Neue Dokumente, geänderte Regeln oder ein Modellwechsel können frühere Antworten verändern. Verbinde deshalb jede relevante Änderung mit den betroffenen Testfragen. Ergänze neue Fragen für neue Inhalte und behalte bekannte Fehlerfälle als Regressionstests. Alte Referenzen werden nicht still überschrieben, sondern versioniert.

Eine Quellenänderung kann auch den erwarteten Antwortstatus verändern. Eine bisher unbeantwortbare Frage wird vielleicht beantwortbar. Eine frühere Antwort wird ungültig. Die Pflege des Testsets ist deshalb Teil der Wissenspflege und keine einmalige Aufgabe vor dem Start.

Der Beitrag Veraltete Dokumente in der KI-Wissensdatenbank ersetzen beschreibt diese Pflege. Für die Prüfung muss zusätzlich sichtbar sein, wann die neue Fassung tatsächlich in den gefundenen Quellen auftaucht. Ein hochgeladenes Dokument beweist noch keine korrekte Antwort auf die betroffene Frage.

Abnahme und verbleibende Grenzen dokumentieren

Der Abschlussbericht nennt Scope, Nutzerrollen, Quellenstand, Anzahl und Herkunft der Fragen sowie Ergebnisse je Fallklasse. Er zeigt offene Fehler und Ausschlusskriterien. Eine Freigabe gilt nur für den dokumentierten Einsatz. Nicht geprüfte Fachbereiche bleiben ausserhalb dieser Aussage.

Die Verantwortlichen müssen festlegen, welche Fehler vor dem Einsatz behoben werden und welche Nutzung bis dahin gesperrt bleibt. Ein pauschaler Zielwert von neunzig Prozent ist dafür nicht ausreichend. Ein einziger kritischer Informationsabfluss kann wichtiger sein als viele richtige Standardantworten. Die Fehlerkosten bestimmen die Freigabe, nicht die schönste Gesamtquote.

Ein brauchbares Testset macht diese Entscheidung überprüfbar. Es verbindet echte Fragen mit gültigen Quellen und erwarteten Grenzen. Damit lässt sich später erkennen, ob eine Änderung tatsächlich hilft, welche Antworten weiterhin fehlen und welche Nutzergruppen vom getesteten Stand überhaupt erfasst sind.