Warum gute Suchfilter manchmal vor einem KI-Chatbot kommen

Wenn Mitarbeitende vor allem das richtige Dokument suchen, kann eine gut gepflegte Suche mit passenden Filtern bereits einen grossen Teil der Aufgabe lösen. Ein KI-Chatbot bringt zusätzlich eine formulierte Antwort. Diese zusätzliche Leistung ist nur hilfreich, wenn sie zur Aufgabe passt und mit vertretbarem Aufwand geprüft wird. Deshalb muss der Vergleich beim tatsächlichen Informationsbedarf beginnen.

Dieser Artikel entwickelt einen eigenen Entscheidungsversuch für Wissensverantwortliche. Er vergleicht ein Register, eine Suche mit Filtern und einen Antwortassistenten. Das durchgehende Beispiel und alle Zahlen sind fiktiv. Sie zeigen eine Auswertung, liefern aber keinen Marktbenchmark und keine allgemeine Rangfolge der technischen Ansätze.

Kläre, ob Menschen finden oder verstehen müssen

Eine Person sucht das aktuelle Formular für einen bestimmten Standort. Eine andere will wissen, welche Ausnahmen ein Verfahren erlaubt. Die erste Aufgabe ist vor allem eine Auswahl unter Dokumenten. Die zweite verlangt Verständnis und möglicherweise die Zusammenführung mehrerer Aussagen. Beide Aufgaben als "Wissenssuche" zusammenzufassen verdeckt diesen Unterschied.

Schreibe deshalb die nächste Handlung auf. Muss jemand eine Datei öffnen, eine konkrete Regel anwenden oder zwei Varianten vergleichen? Bei einer Dateisuche kann eine direkte Trefferliste mit Version und Status genügen. Bei einer erklärenden Frage hilft ein Antworttext, wenn er seine Bedingungen und Quellen erhält. Die Oberfläche allein entscheidet nicht über den Nutzen.

Das Google PAIR Guidebook zu Nutzerbedürfnissen empfiehlt, den besonderen Nutzen von KI gegenüber einfacheren Lösungen zu prüfen. Daraus folgt keine pauschale Empfehlung gegen Chatbots. Für diesen Vergleich bedeutet es: Die bereits vorhandene Suche erhält dieselbe faire Aufgabe und dieselben Abnahmekriterien wie der neue Assistent.

Was Filter leisten und was sie offenlassen

Ein Filter schränkt die Treffermenge anhand gepflegter Merkmale ein, etwa Produkt, Sprache oder Dokumentstatus. Er hilft, wenn Nutzer diese Merkmale kennen und die Daten korrekt zugeordnet sind. Fehlt die Produktvariante oder ist ein Dokument falsch markiert, kann auch ein technisch korrekt arbeitender Filter das falsche Ergebnis liefern.

Das Lehrbuch Introduction to Information Retrieval, Boolean retrieval beschreibt die Auswahl über boolesche Bedingungen und grenzt sie von Verfahren mit einer Rangfolge der Treffer ab. Das ist eine technische Grundlage, kein Nachweis für die Überlegenheit eines bestimmten Unternehmenssystems. Im Arbeitsalltag müssen Auswahlregeln und Bedienbarkeit gemeinsam geprüft werden.

Filter erklären zudem nicht automatisch den Inhalt eines Dokuments. Wer eine Ausnahme verstehen muss, liest weiterhin die relevante Passage. Ein Antwortassistent kann diese Passage aufbereiten, muss dabei aber zusätzliche Fehlergrenzen einhalten. Der Vergleich muss deshalb die vollständige Aufgabe messen und darf nicht beim ersten sichtbaren Treffer enden.

Ein fiktiver Bestand mit drei Zugangswegen

Ein Serviceteam besitzt vierhundert freigegebene Wissensdokumente. Für den Versuch wählt es zwanzig typische Fragen aus: zehn suchen ein bestimmtes Dokument, sechs fragen nach einer Regel und vier verlangen einen Vergleich. Die Zahlen sind eine bewusst kleine Beispielsammlung. Sie repräsentieren nicht automatisch die spätere Nutzung im ganzen Team.

Zugangsweg A ist ein gepflegtes Register mit Produktgruppen und Versionsangaben. Weg B ergänzt Volltextsuche und Filter. Weg C ist ein Antwortassistent, der auf denselben freigegebenen Bestand zugreift. Alle Wege werden mit denselben Berechtigungen und demselben Quellenstand geprüft. Sonst misst der Versuch unterschiedliche Datenbestände statt unterschiedliche Zugänge.

Vor dem Test legt das Team für jede Frage fest, welches Ergebnis als richtig gilt. Bei einer Dokumentensuche zählt die passende gültige Fassung. Bei einer Regelfrage müssen Bedingung und Fundstelle stimmen. Bei einem Vergleich müssen beide Varianten korrekt zugeordnet sein. Eine gut lesbare Antwort ohne diese Angaben besteht den Test nicht.

Vergleiche die ganze Bearbeitung, nicht nur die Suche

Erfasse die Zeit vom Beginn der Aufgabe bis zum geprüften Ergebnis. Dazu gehören das Öffnen der Quelle, das Lesen der relevanten Passage und mögliche Korrekturen. Ein schneller Antworttext kann insgesamt langsamer sein, wenn die Person seine Angaben mühsam kontrolliert. Umgekehrt kann eine gute Zusammenfassung das Verständnis tatsächlich erleichtern.

Notiere ausserdem, ob die Person das Ergebnis selbstständig erreicht oder Hilfe braucht. Eine Abkürzung, die nur der Administrator kennt, ist kein fairer Nachweis für den Alltag. Wechsle die Reihenfolge der Zugangswege zwischen den Teilnehmenden, damit nicht immer der zuletzt getestete Weg vom bereits bekannten Dokument profitiert.

Die Methode aus KI gegen bestehende Vorlagen testen hilft bei diesem Vergleich. Der bestehende Weg darf nicht künstlich schlecht vorbereitet werden. Wenn dem bestehenden Weg lediglich gepflegte Metadaten fehlen, prüfe die Verbesserung dieser Daten als eigene Option. Ein Chatbot und eine ungepflegte Suche sind kein sauberer Vergleich gleichwertiger Ausgangsbedingungen.

Eine Auswertung mit unterschiedlichen Stärken

Im fiktiven Versuch erreicht die gefilterte Suche bei neun von zehn Dokumentfragen ein korrektes Ergebnis. Der Antwortassistent erreicht acht von zehn. Bei den sechs Regelfragen liegen beide bei fünf korrekten Ergebnissen. Bei den vier Vergleichsfragen erreicht die Suche zwei und der Assistent drei. Diese Werte illustrieren eine gemischte Entscheidung, keine statistisch belastbare Überlegenheit.

Die gleiche Gesamtsumme verdeckt unterschiedliche Fehler. Für ein Team mit überwiegend Dokumentfragen ist die Verteilung anders relevant als für ein Team mit vielen Vergleichen. Zusätzlich fehlen in dieser Tabelle Zeit und Fehlerfolgen. Ein unpassendes Formular und eine falsche Leistungszusage haben unterschiedliche Auswirkungen. Die Entscheidung darf daher nicht auf der Summe allein beruhen.

Im Beispiel untersucht das Team die einzelnen Fehlfälle. Bei der Suche fehlt eine Produktzuordnung. Beim Assistenten wird eine historische Fassung als aktuell dargestellt. Der erste Fehler verlangt eine Metadatenkorrektur, der zweite zusätzlich eine Prüfung der Antwortauswahl. Diese Diagnose ist nützlicher als die Aussage, beide Systeme sind mit achtzig Prozent gleich gut. Die Prozentzahl lautet in beiden Fällen 80 Prozent; ihre Bedeutung bleibt begrenzt.

Prüfe zuerst die Qualität der Filtermerkmale

Ein Filterfeld wie "Bereich" hilft wenig, wenn verschiedene Teams darunter Abteilung, Standort oder Produktgruppe verstehen. Definiere die Bedeutung und die zulässigen Werte. Prüfe an einer Stichprobe, ob Dokumente korrekt zugeordnet sind. Ein leerer Wert muss sichtbar bleiben und darf nicht still als allgemeingültig gelten.

Unterscheide ausserdem Suchfilter von Zugriffsrechten. Ein ausgeblendeter Treffer ist nicht automatisch geschützt. Berechtigungen müssen im vorgesehenen System durchgesetzt werden. Der Artikel Zugriffsrechte für KI-Wissensassistenten behandelt diesen getrennten Bereich. Eine bessere Suche darf keine Informationen sichtbar machen, die die Person nicht lesen darf.

Wenn Nutzer die Filterbegriffe nicht kennen, teste verständlichere Bezeichnungen und Beispiele. Ein technisch vollständiges Metadatenschema ist noch keine brauchbare Oberfläche. Lasse Personen mit echten Aufgaben erklären, welchen Filter sie wählen und warum. Ihre Fehlversuche zeigen, ob die Begriffe zur Arbeitssprache passen oder nur zur Ablagestruktur der Administration.

Wann ein Antwortassistent einen zusätzlichen Versuch rechtfertigt

Ein Assistent ist besonders prüfenswert, wenn Menschen Inhalte aus mehreren Quellen zusammenführen oder komplexe Regeln in eine verständliche Erklärung übersetzen müssen. Diese Aufgaben bleiben fachlich anspruchsvoll. Der Assistent muss die verwendeten Quellen sichtbar machen und Unsicherheit oder fehlenden Kontext erhalten. Ein flüssiger Text allein ist kein Abnahmekriterium.

Lege für den zusätzlichen Versuch eine konkrete Verbesserung fest. Beispielsweise soll die Person zwei Varianten korrekt vergleichen, ohne Bedingungen zu übersehen. Prüfe dann genau diese Aufgabe gegen den verbesserten Suchweg. Vermeide ein allgemeines Ziel wie "Wissen leichter zugänglich machen", solange daraus kein beobachtbares Ergebnis folgt.

Die Prüfung mit realistischen Fragen vertieft Wissensdatenbanken mit Nutzerfragen testen. Übernimm auch Fragen, bei denen eine Rückfrage erforderlich ist. Ein System, das jede Frage direkt beantwortet, kann dadurch schlechter arbeiten als eines, das einen fehlenden Geltungsbereich erkennt und die Antwort begrenzt.

Kombiniere die Wege, wenn die Aufgabe es verlangt

Eine sinnvolle Lösung kann zuerst die Auswahl des Produkts verlangen und danach eine Antwort innerhalb dieses Bereichs formulieren. Ebenso kann eine Trefferliste eine optionale Zusammenfassung anbieten. Solche Kombinationen müssen jedoch als eigener Arbeitsweg geprüft werden. Die Stärken zweier Komponenten addieren sich nicht automatisch zu einem besseren Gesamtprozess.

Achte auf die Übergabe zwischen Auswahl und Antwort. Bleibt der gesetzte Filter im Antwortschritt wirksam? Sieht die Person, auf welchen Bestand sich die Aussage bezieht? Was passiert, wenn sie die Produktvariante wechselt? Ein unklarer Zustandswechsel kann eine richtige Auswahl wieder entwerten. Die Abnahme muss deshalb den vollständigen Weg durchspielen.

Ein einfacher Einstieg ist oft ein einzelner Aufgabentyp mit klarer Quellenlage. Halte den alten Weg erreichbar, bis der neue ausreichend geprüft ist. Das ist eine Empfehlung für kontrollierbare Einführung, keine Behauptung über die ideale Projektgrösse. Der Umfang muss zu Fehlerkosten, Datenlage und verfügbarer Prüfung passen.

Prüfe auch den erfolglosen Suchweg

Eine gute Oberfläche muss zeigen, wenn keine passende Quelle gefunden wurde. Teste deshalb Fragen zu einem nicht vorhandenen Produkt und zu einer noch nicht freigegebenen Regel. Die Suche darf nicht aus Verlegenheit einen ähnlichen Treffer als passend ausgeben. Der Assistent darf die fehlende Quelle nicht durch eine allgemeine Antwort ersetzen, die wie internes Wissen klingt.

Dokumentiere, was die Person nach einem erfolglosen Versuch tun kann. Ein klarer Kontakt zur fachlichen Klärung ist hilfreicher als eine endlose Liste ähnlicher Treffer. Wenn viele erfolglose Fragen denselben fehlenden Inhalt betreffen, entsteht daraus ein Pflegeauftrag für die Wissensbasis. Das Problem liegt dann möglicherweise im Bestand und nicht im Zugang.

Diese Fälle gehören in die Vergleichsauswertung. Ein System kann durch häufige, aber unpassende Antworten scheinbar erfolgreicher wirken als eine Suche, die ihre Grenze korrekt zeigt. Bewerte deshalb richtige Begrenzung als eigenes erwartetes Verhalten. Die Abnahme muss prüfen, ob die Person danach den passenden nächsten Schritt kennt.

Rechne Pflege als Teil der Lösung

Filter brauchen gepflegte Metadaten. Ein Antwortassistent braucht ebenfalls aktuelle und korrekt zugeordnete Quellen sowie Tests nach Änderungen. Vergleiche deshalb nicht nur die einmalige Einrichtung. Notiere, wer neue Dokumente einordnet, alte Fassungen kennzeichnet und fehlerhafte Antworten untersucht. Ohne diese Zuständigkeiten verliert jeder Zugang an Verlässlichkeit.

Erfasse im Versuch den tatsächlich angefallenen Pflegeaufwand getrennt vom erwarteten späteren Aufwand. Eine Schätzung ist kein gemessener Betriebswert. Wenn noch keine längere Nutzung vorliegt, benenne die offene Prüfung. Prüfaufwand beim KI-Einsatz messen liefert dafür die passende Ergänzung zur reinen Bearbeitungszeit.

Die Entscheidung ist nachvollziehbar, wenn sie auf Aufgabenarten, geprüften Ergebnissen und benannten Pflegepflichten beruht. Vielleicht genügt die verbesserte Suche. Vielleicht rechtfertigen bestimmte Fragen einen Assistenten. Vielleicht fehlen zunächst die Metadaten für beide Wege. Dokumentiere genau diese Entscheidung mit ihren Grenzen, statt die Oberfläche zum Ersatz für den nachgewiesenen Arbeitsnutzen zu machen.