Wenn nur eine Person die KI-Vorlage bedienen kann

Eine KI-Vorlage ist für ein Team erst nutzbar, wenn eine zweite fachlich geeignete Person damit arbeiten kann, ohne die fehlenden Schritte vom Ersteller erklärt zu bekommen. Ein Kollegentest macht dieses versteckte Zusatzwissen sichtbar. Er prüft die Anleitung und den Arbeitsablauf, nicht den persönlichen Wert eines Mitarbeiters.

Die Vorlagen in diesem Artikel sind fiktiv. Der beschriebene Test ist eine Anleitung zur Durchführung. Es liegt kein durchgeführter Nutzertest mit diesen Vorlagen vor.

Woran die Abhängigkeit erkennbar wird

Eine Person findet immer die richtigen Dateien, ergänzt still den passenden Kontext und korrigiert typische Fehler. Für sie funktioniert der kurze Prompt. Ein Kollege erhält mit demselben Text ein unbrauchbares Ergebnis, weil er diese unausgesprochenen Schritte nicht kennt.

Ein Warnsignal sind wiederkehrende Fragen wie "Welche Datei meinst du?", "Welcher Stand gilt?" oder "Darf ich die Antwort schon versenden?" Jede dieser Fragen verweist auf eine fehlende Information in der Arbeitsanleitung. Mehr Modellwissen löst eine unklare Freigabegrenze nicht.

Bevor du testest, lege die Zielgruppe fest. Eine fachfremde Person braucht andere Erklärungen als eine erfahrene Sachbearbeitung. Der Kollegentest ersetzt keine fachliche Qualifikation. Er zeigt, ob die Anleitung für die vorgesehene Rolle ausreicht.

Was ein Kollegentest tatsächlich prüft

Ein Kollegentest prüft die Ausführbarkeit einer bestimmten Aufgabe mit einem bestimmten Arbeitsmittel. Er ist kein allgemeiner Kompetenztest der Person. Wenn die Vorlage eine Abkürzung nicht erklärt, zeigt eine Rückfrage zunächst eine Lücke im gemeinsamen Kontext. Daraus folgt noch kein Mangel an Fachkenntnis.

Die Guidelines for Human-AI Interaction von Amershi und Kollegen behandeln unter anderem verständliche Fähigkeiten und Grenzen sowie die Korrektur von Fehlern. Die 2019 veröffentlichten Leitlinien wurden mit Designpraktikern und bestehenden KI-Produkten untersucht. Sie sind keine Wirksamkeitsstudie für diese Vorlage. Ich übertrage hier den Gedanken der nachvollziehbaren Bedienung auf eine konkrete Übergabeprüfung.

Die Leitfrage lautet: Erkennt eine andere Person selbstständig, was sie eingeben, prüfen und bei Unsicherheit tun muss? Dafür muss der Test mehr enthalten als einen gelungenen Standardfall. Eine Vorlage, die bei fehlenden Angaben überzeugende Ergebnisse erzeugt, besteht den Test gerade nicht. Der erwartete Stopp ist in diesem Fall das richtige Verhalten.

Die Testperson passend auswählen

Wähle eine Person aus der tatsächlichen Zielgruppe. Eine Fachperson, die den Ablauf seit Jahren kennt, ergänzt Lücken möglicherweise unbemerkt. Eine völlig fachfremde Person scheitert dagegen eventuell an Wissen, das für die Rolle berechtigt vorausgesetzt wird. Beides verzerrt die Aussage über die Vorlage.

Notiere deshalb vor dem Test das vorausgesetzte Wissen. Dazu gehören beispielsweise die Bedeutung eines Auftragsstatus und der Zugriff auf eine bestimmte Datenquelle. Die Vorlage muss dieses Rollenwissen nicht vollständig neu vermitteln. Sie muss aber erklären, wie es für die konkrete Aufgabe eingesetzt wird und welche Abweichungen einen Stopp auslösen.

Die Person, die die Vorlage entwickelt hat, beobachtet den Ablauf möglichst ohne steuernde Hinweise. Wenn sie gleichzeitig jede Unsicherheit erklärt, prüft sie ihre eigene Begleitung. Für die Frage nach selbstständiger Nutzung braucht es einen Durchlauf ohne diese Hilfe. Unterstützung bleibt erlaubt, wird dann aber als Unterstützung protokolliert.

Einen fairen Testauftrag formulieren

Der Testauftrag beschreibt das gewünschte Ergebnis und stellt die freigegebenen Arbeitsmittel bereit. Er verrät nicht bereits den Lösungsweg, den die Vorlage erklären muss. Ein Auftrag wie "Prüfe zuerst Feld C und korrigiere danach die Frist" nimmt zwei Prüfschritte vorweg. Eine realistischere Aufgabe lautet: "Erstelle aus diesem Eingang eine geprüfte interne Zusammenfassung für die nächste Bearbeitung."

Vor dem Durchlauf steht der Lösungsschlüssel fest. Er enthält die notwendigen Aussagen, die zulässigen offenen Punkte und die unzulässigen Annahmen. Wenn dieser Schlüssel erst nach dem Ergebnis entsteht, passt sich die Bewertung leicht an die beobachtete Leistung an. Die Vorlage erhält dann einen Erfolg, den der ursprüngliche Auftrag nicht definiert hat.

Verwende fiktive oder passend freigegebene Daten. Die Testperson muss dieselben Zugriffsbedingungen wie im späteren Ablauf haben. Ein Test mit zusätzlichen Administratorrechten beantwortet nicht, ob der normale Teamzugang ausreicht.

Die unvollständige Vorlage

Die fiktive Ausgangsfassung lautet: "Erstelle wie üblich die Antwort. Nutze die aktuelle Liste und prüfe alles."

Im Kopf des Erstellers steht dahinter ein vollständiger Ablauf: die richtige Produktliste öffnen, einen gültigen Stand auswählen, fehlende Kundendaten erkennen und die Antwort intern prüfen lassen. Im Text steht davon fast nichts.

Die erwarteten Rückfragen sind deshalb konkret: Wo liegt die Liste? Woran erkenne ich den gültigen Stand? Welche Eingaben brauche ich? Was bedeutet "prüfe alles"? Wer gibt die Antwort frei? Diese Fragen sind keine Störung des Tests, sondern sein Ergebnis.

Eine ausführbare Fassung

Die überarbeitete Übungsvorlage lautet:

"Aufgabe: Erstelle einen internen Antwortentwurf für eine Modulanfrage. Verwende ausschliesslich Kundenanfrage K-17 und Leistungsblatt L-04 in der bereitgestellten Übungsmappe. Prüfe vor Beginn, dass beide Unterlagen vorhanden und lesbar sind. Fehlt eine Unterlage, stoppe und notiere die Lücke.

Erfasse Menge, Modultyp und Betriebsspannung mit Fundstelle. Fehlende Angaben bleiben offen. Erstelle danach einen Antwortentwurf ohne erfundene Preise oder Lieferzusagen. Ergänze eine Tabelle mit Aussage, Quelle und Prüfstatus. Prüfe den Entwurf gegen beide Unterlagen. Übergib ihn als 'intern, nicht freigegeben' an die fachliche Prüfperson. Kein Versand."

Für eine echte Vorlage ersetzt du die Übungskennungen durch freigegebene Ablageverweise und benennst die zuständige Prüfperson. Diese Angaben müssen tatsächlich existieren. Ein Platzhalter mit einem überzeugenden Namen ist kein nutzbarer Verweis.

So führst du den Kollegentest durch

Gib der Testperson die Anleitung und die dafür vorgesehenen Unterlagen. Erkläre das Ziel des Tests: Lücken in der Vorlage finden. Bitte sie, ihre Schritte und offenen Fragen auszusprechen. Die beobachtende Person notiert, an welcher Stelle Hilfe nötig wird.

Greife bei einer fachlich riskanten Handlung ein. Ein Nutzbarkeitstest rechtfertigt keinen Versand, keine Datenfreigabe und keine Änderung im Produktivsystem. Für den ersten Durchlauf reicht synthetisches Material in einem kontrollierten Arbeitsbereich.

Wenn die Person nach dem Speicherort fragt, notiere die Frage vor der Erklärung. Sobald du den fehlenden Schritt erläuterst, ist der weitere Durchlauf unterstützt. Das muss im Protokoll stehen. Ein am Ende richtiges Ergebnis beweist dann keine selbstständige Nutzung der ursprünglichen Fassung.

Beobachtungsbogen und Lösungskriterien

Für die Übung gilt als Lösung: Die Person nutzt nur K-17 und L-04, markiert fehlende Angaben, erzeugt einen nachvollziehbaren Entwurf und hält die Freigabegrenze ein. Der genaue Wortlaut ist frei. Die Anleitung muss den Weg zu diesem Ergebnis tragen.

Wenn eine Unterlage absichtlich fehlt, ist ein begründeter Stopp das richtige Verhalten. Bewerte die Testperson nicht negativ, weil kein Text entstanden ist. Die Aufgabe verlangt in diesem Fall eine Klärung, keine improvisierte Ergänzung.

Lücken an der richtigen Stelle beheben

Ordne jeden Befund einer Ursache zu. Ein unklarer Fachbegriff braucht eine Definition oder eine Voraussetzung an die Zielgruppe. Ein fehlender Link gehört in die Anleitung. Eine unklare Zuständigkeit muss organisatorisch geklärt werden. Ein falsches KI-Ergebnis braucht eine passende fachliche Prüfung.

Vermeide, jede beobachtete Frage mit einem zusätzlichen Absatz im Prompt zu beantworten. Manche Informationen gehören in die Eingabemaske oder die Ablagestruktur. Die Vorlage bleibt am besten benutzbar, wenn die Person die benötigte Information am jeweiligen Arbeitsschritt findet.

Dokumentiere die Änderung mit der Versionierung von KI-Arbeitsvorlagen. Teste die überarbeitete Fassung mit einem neuen Fall. Wenn dieselbe Person erneut testet, kennt sie bereits Teile des Ablaufs. Halte diesen Lerneffekt fest; eine weitere passende Person liefert eine zusätzliche Perspektive.

Beobachten, ohne die Lösung hineinzutragen

Notiere beobachtbares Verhalten statt vermuteter Motive. "Öffnet die zweite Anlage nicht" ist eine Beobachtung. "Liest unaufmerksam" ist eine Interpretation. Erst die Nachfrage nach dem Durchlauf klärt, ob die Anlage übersehen wurde, nicht erreichbar war oder laut Vorlage unwichtig erschien.

Hilfestellungen werden mit Zeitpunkt und Inhalt festgehalten. Eine kurze Erklärung wie "Die Frist steht im Anhang" verändert den Test bereits. Das Ergebnis bleibt nützlich, wird aber als mit Hilfe erreicht markiert. Wiederhole den betroffenen Schritt später mit einer neuen Aufgabe und der überarbeiteten Vorlage.

Wenn du lautes Denken einsetzt, nutze die gemessene Dauer nicht ungeprüft als normale Bearbeitungszeit. Das zusätzliche Erklären gehört zur Testsituation. Für einen Zeitvergleich braucht es einen gesonderten Durchlauf unter vergleichbaren Arbeitsbedingungen. Der Kollegentest liefert zunächst Hinweise auf Verständnis und Ausführung.

Auch das Schweigen der Testperson ist kein Beweis für Verständlichkeit. Prüfe das Ergebnis gegen den Lösungsschlüssel. Eine Person kann ohne Rückfrage eine falsche Annahme treffen und damit sehr schnell fertig sein. Der Test muss deshalb Ergebnis und Weg zusammen betrachten.

Ein Fehlerfall, der die Vorlage wirklich beansprucht

Ergänze zum Standardfall einen fiktiven Eingang mit zwei widersprüchlichen Fristen. Im Haupttext steht der 12. November, in einer neueren Anlage der 14. November. Die Testaufgabe enthält keine Regel, welche Angabe verbindlich ist. Das korrekte Verhalten ist deshalb, den Widerspruch zu benennen und eine Klärung anzufordern. Eine automatisch ausgewählte Frist erfüllt den Auftrag nicht.

Der Lösungsschlüssel verlangt vier sichtbare Elemente: beide Angaben mit Fundstelle, eine Kennzeichnung als ungeklärt, keine unbestätigte Zusage und den vorgesehenen Klärungsweg. Wenn die Vorlage nur das Ausfüllen eines Datumsfeldes erlaubt, liegt der Fehler im Arbeitsmittel. Ein Freitextfeld für Unsicherheit oder ein definierter Stopp muss ergänzt werden.

Im erneuten Test ändern sich die konkreten Daten und die Position des Widerspruchs. Sonst erinnert sich die Person an die Antwort des ersten Durchlaufs. Du prüfst dann Wiedererkennung. Ein neuer, vergleichbarer Fall zeigt besser, ob die Regel verstanden wurde.

Fehler nach Ursache beheben

Ordne einen Befund dort zu, wo die Änderung ansetzen muss. Fehlt eine Definition, ändere die Beschreibung. Fehlt ein Zugriff, kläre den Zugang. Ist eine fachliche Entscheidung offen, muss die zuständige Person die Regel festlegen. Ist die Modellantwort trotz klarer Vorgabe unzuverlässig, braucht der Ablauf eine zusätzliche Prüfung oder eine engere Einsatzgrenze.

Nicht jeder Fehler wird durch einen längeren Prompt behoben. Wenn eine Vorlage gleichzeitig Kundenkommunikation, interne Freigabe und Datenpflege erledigen soll, zerlege den Auftrag in nachvollziehbare Schritte. Jede Zwischenstufe erhält einen eigenen Prüfpunkt. Das erleichtert später auch die Ursachenanalyse.

Dokumentiere eine Änderung zusammen mit dem beobachteten Problem und dem Ergebnis des Wiederholungstests. Der Artikel zur Versionierung von Arbeitsvorlagen beschreibt die passende Verbindung zwischen Vorlage und Testfällen. So bleibt nachvollziehbar, warum eine zusätzliche Regel existiert.

Eine belastbare Freigabe formulieren

Eine passende Freigabe lautet beispielsweise: "Die Vorlage wurde mit zwei Personen aus der Zielrolle an den dokumentierten Standard- und Widerspruchsfällen geprüft. Die zweite Fassung wurde ohne inhaltliche Hilfestellung ausgeführt. Nicht geprüft sind fremdsprachige Eingänge und gescannte Anlagen." Diese Formulierung benennt den geprüften Umfang und vermeidet eine pauschale Qualitätsbehauptung.

Die Zahl zwei ist hier Teil des fiktiven Beispiels, keine wissenschaftlich begründete Mindeststichprobe. Für weitreichendere Verwendung brauchst du weitere Fälle und passende Nutzergruppen. Entscheide den Umfang anhand der Unterschiede in Aufgaben und Fehlerfolgen. Neue Eingangsformate lösen eine neue Prüfung aus.

Nach der Einführung bleibt eine Rückmeldemöglichkeit notwendig. Wenn Kolleginnen immer dieselbe Rückfrage stellen, wird sie in den nächsten Test aufgenommen. Für die spätere Betreuung braucht es eine benannte Verantwortung; die Betriebsübergabe beschreibt diesen Schritt.

Was das Ergebnis aussagt

Ein bestandener Kollegentest zeigt Benutzbarkeit unter den dokumentierten Bedingungen. Er beweist keine fehlerfreie Nutzung durch jede Person. Notiere Zielgruppe, Material, Hilfen, offene Fragen und getestete Fassung. Daraus entsteht eine konkrete Grundlage für die nächste Überarbeitung.

Die CDC-Anleitung zur Trainingsevaluation trennt Wissen und Anwendung im Arbeitskontext. Mein Kollegentest verwendet diese Trennung als didaktische Orientierung; das konkrete Prüfverfahren ist eine eigene redaktionelle Vorlage. Quellenprüfung: 21.10.2026.

Das Prompt-Wiki hält freigegebene Fassungen auffindbar. Der Transfercheck nach einer KI-Schulung untersucht die Anwendung einer neuen Aufgabe. Wenn eine vollständige Arbeitsanweisung fehlt, beginne mit der Anleitung aus Stichpunkten.