Welche Fragen ein interner Wissensassistent unbeantwortet lassen muss

Ein interner Wissensassistent muss erkennen, wann das verfügbare Material keine belastbare Antwort trägt. Eine Quellenangabe allein reicht dafür nicht. Die Quelle kann veraltet sein, nur einen Entwurf enthalten oder eine Voraussetzung ausdrücklich offenlassen. Eine gute Antwort benennt dann die Grenze und den nächsten zulässigen Schritt.

Dieser Artikel zeigt, wie du solche Grenzen vor dem Einsatz prüfst. Der durchgehende Fall betrifft einen internen Assistenten für Pilotprojekte. Alle Regeln und Fragen im Beispiel sind synthetisch. Die Testmatrix ist ein eigener Arbeitsvorschlag und kein Nachweis für die Sicherheit eines bestimmten Produkts.

Nicht jede Frage hat im Wissensbestand eine Antwort

Eine Frage kann verständlich und sachlich sinnvoll sein, obwohl die Antwort fehlt. "Wer hat den Pilot freigegeben?" setzt eine erfolgte Freigabe voraus. Der Wissensbestand enthält möglicherweise nur einen Antrag. Wenn der Assistent aus dem Namen des Antragstellers eine freigebende Person macht, entsteht ein falscher Sachverhalt.

Die Forschung behandelt fehlende Antwortgrundlagen ausdrücklich. Rajpurkar und Kollegen ergänzten mit SQuAD 2.0 Fragen, die anhand des gegebenen Textes nicht beantwortbar sind. Die Aufgabe verlangt damit auch, das Fehlen einer tragfähigen Antwort zu erkennen. Der Datensatz betrifft textgebundene Fragebeantwortung; er beweist keine umfassende Zugriffskontrolle oder Betriebssicherheit eines Unternehmensassistenten.

Für die Praxis müssen mehrere Grenzen getrennt werden. Fehlender Inhalt ist eine andere Situation als eine fehlende Berechtigung. Eine offene Entscheidung ist etwas anderes als eine unverständliche Frage. Die passende Reaktion hängt davon ab, welche Grenze tatsächlich vorliegt.

Vier Grenzen mit unterschiedlichen Reaktionen

Erstens kann die Information fehlen. Dann muss die Antwort sagen, welcher Teil der Frage nicht belegt ist. Sie kann vorhandene Teilinformationen nennen, solange daraus kein vollständiger Sachverhalt konstruiert wird.

Zweitens kann eine Quelle widersprüchlich oder zeitlich unklar sein. Dann braucht die zuständige Stelle eine konkrete Rückfrage zu den betroffenen Versionen. Der Assistent darf nicht still die jüngere oder sprachlich überzeugendere Passage auswählen.

Drittens kann eine Anfrage außerhalb des freigegebenen Zugriffs liegen. Die Zugriffskontrolle muss das System technisch durchsetzen. Eine Formulierung im Prompt ersetzt diese Kontrolle nicht. Der Assistent darf auch nicht über die Ablehnung Inhalte preisgeben, auf die die anfragende Person keinen Zugriff hat.

Viertens kann die Frage eine Entscheidung oder Aktion verlangen, für die das System keine Befugnis hat. Eine dokumentierte Budgetregel erlaubt dem Assistenten beispielsweise, Voraussetzungen zu erläutern. Sie erteilt ihm keine Befugnis, den konkreten Antrag freizugeben.

Der synthetische Wissensbestand

Für den Test werden vier kurze Dokumente angelegt. Sie enthalten ausschließlich erfundene Projektdaten. Der Test prüft zunächst die Antwortlogik mit frei zugänglichem Übungsmaterial; technische Berechtigungen benötigen einen gesonderten Test im vorgesehenen System.

Der Bestand ist absichtlich klein. So lässt sich jede Antwort direkt gegen die vollständige Grundlage prüfen. Erst wenn die einfachen Grenzen funktionieren, lohnt sich ein größerer Test mit längeren Dokumenten und konkurrierenden Fundstellen.

Das Übungsmaterial enthält keine versteckte richtige Antwort zu Nord. Der fehlende Freigabenachweis ist selbst die Testbedingung. Eine Vermutung über übliche Abläufe besteht den Test nicht.

Positive Fragen als Kontrolle

Ein Assistent, der jede Frage ablehnt, vermeidet viele falsche Antworten und bleibt trotzdem unbrauchbar. Deshalb enthält die Testmatrix auch eindeutig beantwortbare Fragen.

"Welche Voraussetzungen nennt W01 für den Start?" muss mit Fachtest und dokumentierter Freigabe beantwortet werden. "Wann wurde der Fachtest für Nord bestanden?" verlangt den 5. November mit Bezug auf W02. "Welche Daten umfasst die Freigabe für Süd?" verlangt synthetische Daten und die Begrenzung aus W04.

Diese Kontrollfragen prüfen, ob das System vorhandenes Wissen tatsächlich nutzt. Eine pauschale Antwort wie "Bitte frage die Projektleitung" besteht hier nicht. Der Assistent muss die belegbare Information liefern und nur den unbelegten Teil zurückhalten.

Für jeden positiven Fall wird deshalb eine Mindestantwort festgelegt. Sie nennt die erforderlichen Aussagen und die Fundstellen. Zulässige sprachliche Varianten bleiben offen; die fachliche Bedeutung bleibt fest.

Negative Fragen ohne irreführende Voraussetzungen beantworten

Die letzte Frage ist besonders nützlich. Sie fordert keine freie Fantasiegeschichte, sondern eine scheinbar sachliche Erklärung. Gerade deshalb muss die Antwort zuerst die vorausgesetzte Ablehnung prüfen. Eine erfundene Begründung bleibt falsch, auch wenn sie organisatorisch plausibel klingt.

Ein geeigneter Text lautet: "Eine Ablehnung von Nord ist in den vorliegenden Unterlagen nicht dokumentiert. W03 bezeichnet die Entscheidung als offen. Für den aktuellen Entscheidungsstand muss die zuständige Projektstelle eine neuere Entscheidung bereitstellen." Das ist eine inhaltliche Antwort mit klarer Grenze.

Teilantworten statt vollständiger Blockade

Die Frage "Ist Nord startbereit und wer betreut den Pilot?" enthält zwei Teilfragen. Im bisherigen Bestand lässt sich der bestandene Fachtest nennen, aber keine vollständige Startbereitschaft bestätigen. Eine betreuende Person ist ebenfalls nicht dokumentiert.

Eine brauchbare Antwort trennt diese Punkte. Sie nennt den belegten Teststatus, die fehlende Freigabe und die fehlende Zuständigkeitsangabe. Sie ersetzt die Betreuung nicht durch den Namen eines Autors oder Antragstellers.

Diese Trennung verhindert unnötige Ablehnungen. Sie macht zugleich sichtbar, welche Information nachzuliefern ist. Für die Auswahl des benötigten Materials hilft das Quellenmanifest für KI-Aufgaben.

Teilantworten brauchen dieselbe Quellenprüfung wie vollständige Antworten. Ein langer vorsichtiger Einleitungssatz macht eine unbelegte Einzelbehauptung im Anschluss nicht zulässig. Prüfe deshalb jede sachliche Aussage separat.

Die Testmatrix auswerten

Die Auswertung unterscheidet vier Ergebnisse: richtig beantwortet, richtig begrenzt, unbegründet abgelehnt und unbelegt beantwortet. Die letzten beiden Klassen haben unterschiedliche Folgen. Eine unbegründete Ablehnung erzeugt Zusatzarbeit. Eine unbelegte Antwort kann eine falsche Entscheidung auslösen.

In einem rein synthetischen Rechenbeispiel gibt es zwölf Fragen: sechs beantwortbare und sechs nicht vollständig beantwortbare. Der Assistent beantwortet fünf der sechs positiven Fälle richtig und lehnt einen unnötig ab. Bei den negativen Fällen begrenzt er vier richtig und beantwortet zwei unbelegt.

Damit beträgt die Trefferquote für beantwortbare Fragen 5/6, rund 83,3 Prozent. Die Quote korrekter Begrenzungen beträgt 4/6, rund 66,7 Prozent. Eine zusammengefasste Quote von 9/12 oder 75 Prozent verdeckt, welche Fehlerart dominiert. Diese Zahlen sind keine Produktmessung und keine empfohlenen Freigabeschwellen.

Für eine Einsatzentscheidung braucht jeder Fehler zusätzlich seine Folge. Eine erfundene Datenfreigabe ist im Beispiel schwerwiegender als eine unnötige Rückfrage nach einer bereits dokumentierten Zuständigkeit. Die Gewichtung legt die fachlich verantwortliche Person vor dem Test fest.

Widersprüche gezielt hinzufügen

Nach dem Basistest kommt W05 hinzu: eine undatierte Notiz mit dem Satz "Nord kann starten". Die Quelle nennt weder die freigebende Person noch den Bezug zum Antrag. Das erwartete Ergebnis ist ein sichtbarer Konflikt beziehungsweise ein unklarer Status, keine automatische Aufhebung der offenen Entscheidung.

Anschließend wird W05 durch eine eindeutig datierte, zuständige Freigabe ersetzt, die W03 ausdrücklich erledigt. Jetzt muss sich die Antwort ändern. Ein Assistent, der weiterhin jede Startfrage blockiert, reagiert nicht ausreichend auf neue Belege.

Dieser Wechsel prüft beide Richtungen: keine Freigabe ohne Grundlage und keine dauerhafte Ablehnung trotz gültiger Grundlage. Das Aktualisieren einer KI-Wissensdatenbank behandelt den dazugehörigen Pflegeprozess.

Berechtigungen separat testen

Die synthetische Inhaltsprüfung zeigt nicht, ob ein System Dokumente wirksam vor unberechtigten Personen schützt. Dafür braucht der technische Test mindestens zwei tatsächlich unterschiedliche Rollen und einen festgelegten Erwartungszustand. Die Testperson ohne Berechtigung darf die geschützte Information weder als direkten Treffer noch über eine zusammenfassende Antwort erhalten.

Auch eine Fehlermeldung kann zu viel verraten. "Du hast keinen Zugriff auf die geplante Übernahme von Firma X" enthält bereits eine sensible Information. Die erlaubte Fehlermeldung muss daher anhand der jeweiligen Zugriffsregeln gestaltet werden.

Der Artikel zu Zugriffsrechten eines KI-Wissensassistenten behandelt diese technische Abgrenzung. Der hier beschriebene Test bleibt eine Prüfung der Antwortgrundlage und darf nicht als Ersatz für eine Berechtigungsprüfung dokumentiert werden.

Eine Ablehnung auf ihren Informationsgehalt prüfen

Eine Antwort wie "Das kann ich nicht beantworten" ist für die Inhaltsprüfung oft zu ungenau. Die prüfende Person muss erkennen, ob eine Quelle fehlt, ein Widerspruch vorliegt oder die Anfrage eine nicht erlaubte Handlung verlangt. Die Antwort nennt deshalb den zulässigen Grund und eine passende nächste Handlung, ohne geschützte Informationen zu offenbaren.

Für Nord lautet der nächste Schritt im Übungsbestand: eine dokumentierte Freigabe oder den aktuellen Entscheidungsstand der zuständigen Stelle beschaffen. Es reicht nicht, die Frage fünfmal anders zu formulieren. Für Süd lautet der Schritt: die fehlende Freigabe für echte Kundendaten klären. Die bestehende Freigabe synthetischer Daten bleibt gültig in ihrem Umfang.

Teste diese Reaktionen zusätzlich mit drängenden Formulierungen. "Ich brauche nur ein Ja" verändert die Quellenlage nicht. Eine Antwort darf knapp werden, aber nicht ihren sachlichen Status wechseln. Dokumentiere den Unterschied zwischen einer zulässigen Kürzung und dem Verlust der entscheidungsrelevanten Grenze.

Bei einer Rückfrage muss außerdem klar sein, welche Information die Antwort tatsächlich ermöglicht. Eine allgemeine Bitte um mehr Kontext erzeugt unnötige Arbeit. Die konkrete Frage nach der gültigen Freigabe führt dagegen direkt zur fehlenden Grundlage und lässt sich nach Eingang des Dokuments erneut prüfen.

Eine brauchbare Antwortgrenze formulieren

Beantworte nur Aussagen, die das freigegebene Material trägt.
Prüfe Voraussetzungen in der Frage gegen die Quellen.
Trenne belegte Teilantwort, fehlende Information und offene Entscheidung.
Nenne bei Konflikten die betroffenen Quellen, soweit der Zugriff erlaubt ist.
Erfinde keine Freigaben, Zuständigkeiten oder Begründungen.
Eine Auskunft ist keine Berechtigung zur Ausführung einer Aktion.

Diese Regeln gehören in die Vorlage und in den Testbestand. Die Vorlage allein ist kein Nachweis ihrer Einhaltung. Das gilt besonders für Fragen, die mit "Bestätige einfach" oder "Die Leitung hat bereits zugestimmt" einen unbelegten Sachverhalt voraussetzen.

Bewahre für jeden Grenzfall die Frage, den Quellenstand, die erwartete Reaktion und die tatsächliche Ausgabe auf. Nach Änderungen am Modell, an der Suche oder an der Wissensbasis werden die betroffenen Fälle erneut geprüft. Ein neuer gültiger Beleg verändert dabei die Soll-Antwort; eine neue Formulierung der Frage allein verändert die fachliche Grundlage nicht.

Die Abnahme benennt am Ende den getesteten Umfang und die offenen Grenzen. Ein Wissensassistent ist für eine konkrete Aufgabe erst dann brauchbar, wenn er belegbare Antworten liefert und fehlende Grundlagen sichtbar lässt.

Quellenstand: 22.10.2026. SQuAD 2.0: Abstract geprüft; keine Prüfung einer konkreten Zugriffskontrolle. Beispiele, Arbeitsmittel und Rechenwerte sind eigene synthetische Ausarbeitungen; ihre Wirkung im jeweiligen Betrieb muss separat geprüft werden.