Vier Wochen nach der KI-Schulung: Der Praxistest mit einer neuen Aufgabe

Vier Wochen nach einer KI-Schulung zählt, ob ein Mitarbeiter eine neue Aufgabe selbstständig und fachlich richtig bearbeitet. Eine erinnerte Prompt-Formel oder ein positives Kursfeedback beantwortet diese Frage nicht. Ein begrenzter Praxistest macht sichtbar, was im Alltag bereits funktioniert und wo Unterstützung fehlt.

Die vier Wochen sind ein vorgeschlagener Prüfzeitpunkt. Sie sind keine wissenschaftlich festgelegte Frist. Wähle den Termin so, dass die Teilnehmer vorher Gelegenheit zur Anwendung haben. Die folgende Übung und der Bewertungsbogen sind redaktionelle Vorlagen mit fiktiven Daten, kein Bericht über eine durchgeführte Schulung.

Unterstützte Leistung und gelernte Fähigkeit auseinanderhalten

Wenn ein Teilnehmer mit KI eine Aufgabe richtig löst, hast du zunächst die Leistung der Kombination aus Person, Werkzeug und Hilfsmitteln beobachtet. Das sagt noch nicht, ob die Person einen Fehler erkennt, eine neue Quelle einordnet oder bei einem Ausfall weiterarbeiten kann. Für die Schulungsbewertung müssen diese Fragen getrennt werden.

Bastani und Kollegen untersuchten in einem randomisierten Feldexperiment im Mathematikunterricht nahezu tausend Schüler. Sie verglichen unter anderem eine allgemeine GPT-4-Hilfe, eine didaktisch begrenzte Tutorvariante und eine Kontrollgruppe. Verbesserungen während unterstützter Übungen bedeuteten nicht automatisch bessere Leistungen ohne Unterstützung. Die Untersuchung betrifft Schule und Mathematik, keine betriebliche KI-Schulung. Ich übertrage keine Effektzahlen. Der methodische Hinweis ist dennoch relevant: Unterstützung während der Aufgabe und anschliessende eigenständige Fähigkeit sind verschiedene Ergebnisse. Die Verlagsseite weist eine Korrektur aus. Der separate Korrekturtext war beim Abruf nicht zugänglich; ich verwende hier den qualitativen Hauptbefund der zugänglichen Artikelseite und keine Effektzahlen.

Für einen Bürotest folgt daraus meine Empfehlung: Prüfe die reale Arbeit mit den erlaubten Hilfsmitteln und ergänze eine kurze Diagnoseaufgabe, in der die Person eine bewusst fehlerhafte Ausgabe beurteilt. Diese zweite Aufgabe muss nicht ohne jedes Arbeitsmittel stattfinden. Sie soll zeigen, ob die Person den fachlichen Kontrollschritt selbst ausführt.

Eine Schulung darf Werkzeugnutzung lehren. Es ist deshalb unpassend, ihren Erfolg ausschliesslich an einer Prüfung ohne Werkzeug zu messen. Ebenso unpassend ist es, nur die mit Unterstützung entstandene Endfassung zu bewerten. Die Testform muss zum Lernziel passen.

Vorhermessung, Nachtest und Transfer beantworten andere Fragen

Eine Vorhermessung beschreibt, was die Person bereits vor der Schulung beherrscht. Ein unmittelbarer Nachtest zeigt, was sie kurz danach unter den gegebenen Bedingungen anwenden kann. Ein später Transfercheck untersucht die Anwendung bei einer neuen Aufgabe im Arbeitskontext. Keine dieser Beobachtungen ersetzt automatisch die anderen.

Wenn du nur vier Wochen später testest, kannst du den erreichten Stand beschreiben. Du kannst daraus nicht sicher ableiten, welcher Anteil durch den Kurs entstanden ist. Vielleicht hat die Person vorher bereits ähnlich gearbeitet oder in der Zwischenzeit zusätzliche Unterstützung erhalten. Halte solche Einflüsse fest, statt sie dem Training zuzuschreiben.

Die CDC-Anleitung zur Evaluation benennt genau diese Grenze eines alleinigen Nachtests: Er zeigt erreichte Kenntnisse oder Fähigkeiten, aber ohne Vorhervergleich keine Veränderung. Für eine lokale Lernbegleitung genügt eine einfache dokumentierte Ausgangsaufgabe oft als erster Schritt; für einen kausalen Wirksamkeitsnachweis reicht dieser Vergleich allein noch nicht.

Ein Lernziel, das sich beobachten lässt

Für dieses Beispiel lautet das Lernziel: Eine Person erstellt aus einer Kundenanfrage und einer freigegebenen Leistungsbeschreibung einen Antwortentwurf. Sie trennt bestätigte Fakten von offenen Fragen, prüft das Ergebnis und gibt keine unbelegten Zusagen weiter.

Das Ziel enthält das Ergebnis und das Vorgehen. Eine richtige Antwort durch Zufall erfüllt nur den ersten Teil. Eine gut begründete Prüfung mit falschem Endergebnis erfüllt den zweiten ebenfalls nicht vollständig. Bewerte beide Teile getrennt.

Vor dem Test vereinbaren Trainer und fachliche Prüfperson, welche Hilfsmittel erlaubt sind. Im Beispiel sind die freigegebene KI-Anwendung, die Arbeitsvorlage und die Prüfcheckliste erlaubt. Mündliche inhaltliche Hinweise werden protokolliert. Die Aufgabe ist kein Gedächtnistest; sie prüft den Umgang mit den vorhandenen Arbeitsmitteln.

Neue Aufgabe statt Wiederholung der Kurslösung

Die Übung im Kurs behandelt eine vollständige Standardanfrage. Im Nachtest erhält die Person eine ähnliche Anfrage mit fehlenden Angaben und einem Terminwunsch. Das prüft, ob sie die Arbeitsweise auf eine veränderte Situation überträgt.

Das fiktive Material für den Nachtest:

Im Material fehlen Betriebsspannung, Preis und eine bestätigte Liefermöglichkeit. Die Kundenanfrage liefert einen Wunsch, keine Zusage. Eine Person muss diese Unterschiede auch dann erkennen, wenn die KI einen fertig klingenden Antworttext erzeugt.

Der Arbeitsauftrag lautet: "Erstelle einen internen Antwortentwurf und eine kurze Prüfliste. Nenne die verwendeten Quellen. Dokumentiere offene Angaben und zeige, welche Aussagen vor einer Kundenantwort eine Freigabe brauchen. Versende nichts."

Erwartetes Ergebnis

Eine passende Musterantwort lautet:

"Vielen Dank für Ihre Anfrage über 18 Einheiten des Moduls M. Bitte nennen Sie die benötigte Betriebsspannung. Das vorliegende Leistungsblatt beschreibt den Einsatz in Innenräumen. Ihren Terminwunsch zum 05.12.2026 haben wir aufgenommen. Preis und Liefertermin sind noch nicht bestätigt; die Auftragsprüfung klärt diese Angaben nach Festlegung der Ausführung."

Die Formulierung ist ein Lösungsmuster. Andere Formulierungen bestehen den Test, wenn die Fakten und offenen Punkte erhalten bleiben. Der interne Prüfvermerk muss die Menge auf K-17, die Spannungsfrage auf L-04 und die Freigabegrenze auf F-02 zurückführen. Er muss zudem zeigen, dass kein Versand erfolgt ist.

Ein erfundener Stückpreis, eine Terminbestätigung oder eine Behauptung zur Aussentauglichkeit führt zur Nacharbeit. Eine besonders höfliche Sprache gleicht solche Fehler nicht aus. Die fachliche Prüfperson legt diese Ausschlusskriterien vor dem Versuch fest.

Bewertungsbogen für Ergebnis und Vorgehen

Erfasse die konkrete Stelle statt eines allgemeinen Urteils wie "noch unsicher". Beispiel: "Die Person hat die Terminbestätigung erst nach dem Hinweis auf F-02 entfernt." Daraus folgt eine gezielte Übung zum Unterschied zwischen Wunsch und Zusage.

"Nicht beobachtet" bedeutet keine festgestellte Unfähigkeit. Wenn die Prüfperson einen Arbeitsschritt nicht sehen konnte, bleibt die Bewertung offen. Lass die Person ihre Prüfschritte kurz erläutern und die Fundstellen zeigen. Die Beobachtung muss für die Beteiligten nachvollziehbar bleiben.

Auswertung ohne falsche Kompetenzquote

Ein einzelner Fall zeigt Verhalten in genau dieser Aufgabe unter den dokumentierten Bedingungen. Er belegt weder allgemeine KI-Kompetenz noch eine bestimmte Produktivitätssteigerung. Auch eine Sammlung bestandener Fälle muss ihren Aufgabenbereich und ihre Grenzen nennen.

Leite aus dem Befund eine nächste Handlung ab. Bei korrektem Ergebnis und eigenständiger Prüfung folgt eine weitere Variante aus dem echten Aufgabenbereich. Bei einem inhaltlichen Fehler folgt eine gezielte Korrekturübung. Wenn die Anwendung wegen fehlender Zugänge nicht möglich ist, muss zuerst der Zugang geklärt werden; ein weiterer Kurs behebt diese Hürde nicht.

Vereinbare den nächsten Prüfzeitpunkt mit der zuständigen Person und dokumentiere ihn. Der Artikel setzt keinen Termin für dein Unternehmen. Die Teamleitung verantwortet die Einplanung, die fachliche Prüfperson die Abnahme und der Teilnehmer die Bearbeitung im vereinbarten Rahmen.

Ein Fehlererkennungstest als zweite Aufgabe

Lege nach dem Antwortentwurf folgende fiktive KI-Ausgabe vor: "Wir bestätigen 18 Module M für den Aussenbereich zu insgesamt 2.700 EUR. Die Lieferung erfolgt am 05.12.2026." Die Person erhält weiterhin K-17, L-04 und F-02. Sie muss die Ausgabe prüfen und die einzelnen Befunde mit Quellen begründen.

Der Lösungsschlüssel enthält vier Probleme: Aussentauglichkeit ist nicht belegt und widerspricht dem beschriebenen Innenraumeinsatz; der Gesamtpreis ist erfunden; aus dem Terminwunsch wurde eine Zusage; die notwendige Betriebsspannung bleibt ungeklärt. Die korrekt übernommene Menge 18 darf dagegen als bestätigt gelten. Damit prüfst du auch, ob die Person zwischen richtigen und falschen Bestandteilen unterscheidet.

Bewerte das Erkennen und das Beheben getrennt. Wer einen falschen Preis markiert, aber im überarbeiteten Text einen anderen unbelegten Preis einsetzt, hat die Korrektur noch nicht verstanden. Eine passende Lösung lässt den Preis offen und nennt den Freigabeweg.

Die Person muss nicht die Formulierungen des Lösungsschlüssels wiederholen. Eine fachlich gleichwertige Erklärung besteht die Prüfung. Ein ausschliesslich stilistischer Kommentar wie "zu verbindlich formuliert" reicht dagegen nicht, wenn er die unbelegten Inhalte und die notwendige Handlung nicht benennt.

Hilfen systematisch erfassen

Unterscheide technische Hilfe, Verständnisfragen und inhaltliche Hinweise. Eine Unterstützung beim Login sagt wenig über das fachliche Lernziel. Ein Hinweis auf die richtige Fundstelle beeinflusst dagegen die Bewertung der selbstständigen Prüfung. Im Protokoll muss stehen, welche Hilfe wann erfolgt ist.

Nutze drei klar beschriebene Unterstützungsstufen: ohne Hinweis bearbeitet, nach allgemeinem Prüfhinweis korrigiert, erst nach Nennung des konkreten Fehlers korrigiert. Diese Stufen sind eine redaktionelle Bewertungsregel, keine standardisierte psychometrische Skala. Sie helfen dem Trainer, die nächste Übung passend auszuwählen.

Bei einem allgemeinen Hinweis sagst du beispielsweise: "Prüfe jede Zusage gegen die Unterlagen." Bei einem konkreten Hinweis sagst du: "Der Preis steht in keiner Quelle." Die zweite Hilfe nimmt einen Teil der eigentlichen Such- und Beurteilungsleistung vorweg. Beide Hilfen als identisches "mit Unterstützung" zusammenzufassen verdeckt den Lernbedarf.

Aus einzelnen Befunden einen Lernplan erstellen

Wenn die Person Quellen findet, aber deren Gültigkeit verwechselt, braucht sie eine Übung mit Versionen und Freigabeständen. Wenn sie Fehler erkennt, aber keine zulässige Ersatzformulierung findet, übt sie den Übergang von Befund zu korrigiertem Text. Wenn sie nur auf ausdrückliche Aufforderung prüft, muss der Kontrollschritt fester Bestandteil der Arbeitsvorlage werden.

Setze für die nächste Übung ein einzelnes beobachtbares Ziel. "Mehr Sicherheit mit KI" bleibt zu unbestimmt. Ein passendes Ziel lautet: Die Person kennzeichnet in drei neuen Übungsfällen jeden nicht bestätigten Termin als offen und nennt die zuständige Freigaberolle. Die Zahl drei dient hier der Organisation der Übung; sie ist keine allgemeine Nachweisgrenze.

Die nächste Aufgabe muss neue Inhalte enthalten. Eine wiederholte Lösung derselben Anfrage zeigt auch Erinnerung an den Fall. Verwende vergleichbare Anforderungen mit anderen Mengen, anderen fehlenden Angaben und einem anderen Quellkonflikt. Halte den Schwierigkeitsgrad nachvollziehbar, damit eine einfachere zweite Aufgabe keinen scheinbaren Fortschritt erzeugt.

Teamberichte ohne pauschale Personenurteile

Fasse für die Teamleitung die fachlichen Muster zusammen: Welche Fehler treten wiederholt auf, welche Arbeitsmittel fehlen und welche Aufgaben sind bereits selbstständig bearbeitbar? Eine Rangliste der Personen lenkt schnell von den Ursachen im Ablauf ab. Der Test dient hier der Befähigung und der begrenzten Arbeitsfreigabe, nicht einer allgemeinen Leistungsbewertung.

Bei kleinen Gruppen zeigst du absolute Fallzahlen und den Aufgabenumfang. "Zwei Personen brauchten einen Hinweis auf die Terminfreigabe" ist präziser als eine weitreichende Kompetenzquote. Dokumentiere zudem, ob alle Teilnehmer Gelegenheit zur Anwendung hatten. Fehlende Praxiszeit ist eine andere Hürde als ein Verständnisproblem.

Der anschliessende Kollegentest prüft die Anleitung. Die Zeitmessung untersucht den Arbeitsaufwand. Beide ergänzen den Lernnachweis, ohne ihn zu ersetzen. Ein Kurs kann eine fachliche Fähigkeit verbessern, obwohl die Arbeitszeit zunächst durch bewusstere Prüfung steigt.

Was nach dem Test in der Vorlage bleibt

Übernimm wiederkehrende Rückfragen in die Arbeitsanleitung. Wenn mehrere Personen den Freigabestatus verwechseln, braucht die Vorlage ein sichtbares Feld für diesen Status. Wenn nur eine Person einen Fachbegriff nicht kennt, hilft zunächst die entsprechende Erklärung.

Die kontrollierte Änderung einer KI-Arbeitsvorlage verhindert, dass jede Rückfrage zu einer ungeprüften neuen Fassung führt. Die Prüfung durch einen Kollegen untersucht zusätzlich, ob die Anleitung ohne mündliche Ergänzung benutzbar ist.

Quelle und Einordnung

Die CDC-Anleitung zur Trainingsevaluation unterscheidet Lernerfolg und Anwendung am Arbeitsplatz. Sie beschreibt eine spätere Evaluation als Mittel zur Prüfung des Transfers und bindet den Zeitpunkt an Thema, Ressourcen und Anwendungsmöglichkeiten. Mein Nachtest überträgt diese Grundidee auf eine KI-Büroaufgabe; die CDC validiert dieses konkrete Beispiel nicht. Quellenprüfung: 21.10.2026.

Die KI-Schulung mit Praxistransfer ordnet den Nachtest in die gesamte Lernstrecke ein. Für die Zusammenarbeit mit deinem Team beschreibt der KI-Team-Pilot den angebotenen Rahmen.