Eine Woche mit einer KI-Arbeitsvorlage: Versuchsprotokoll

Dieses Versuchsprotokoll hilft dir, eine KI-Arbeitsvorlage eine Woche lang nachvollziehbar zu prüfen. Es ist noch kein Erfahrungsbericht. Es wurde damit kein realer Versuch durchgeführt, und alle Ergebnisfelder sind offen. Der Zweck ist eine begrenzte Entscheidung: Lohnt sich ein weiterer Test dieser Vorlage für eine klar beschriebene Aufgabe unter den beobachteten Bedingungen?

Eine Woche ist ein organisatorischer Rahmen, kein statistischer Qualitätsnachweis. Wenn in dieser Woche nur wenige passende Vorgänge auftreten, bleibt die Datenbasis klein. Wenn schwierige Fälle fehlen, ist das Ergebnis auf die beobachteten Fälle begrenzt. Dieses Protokoll macht solche Grenzen sichtbar, statt aus einer kurzen Nutzung eine allgemeine Erfolgsbehauptung abzuleiten.

1. Formuliere eine Frage, die der Versuch beantworten kann

"Wie gut ist KI?" ist für eine Woche zu breit. Eine brauchbare Frage lautet beispielsweise: "Verändert eine feste KI-Vorlage den Gesamtaufwand für Antwortentwürfe auf wiederkehrende Produktfragen, wenn die fachlichen Qualitätsanforderungen gleich bleiben?" Das ist ein vorgeschlagener Versuchszweck, kein bereits vereinbartes Unternehmensprojekt.

Beschreibe den fertigen Output. Eine Antwort muss beispielsweise die Frage beantworten, ausschliesslich freigegebene Produkteigenschaften verwenden und fehlende Angaben erkennbar offenlassen. Die zuständige Person legt vor dem Start fest, welche Fehler eine Verwendung ausschliessen. Stilwünsche und fachliche Mindestqualität bleiben getrennte Kriterien.

Der Artikel KI-Zeitersparnis messen erklärt die vollständige Aufwandserfassung. Dieses Protokoll ergänzt die laufende Dokumentation über mehrere Vorgänge. Es muss auch dann ausgefüllt werden, wenn die KI keinen brauchbaren Entwurf erzeugt. Sonst beschreibt die Auswertung nur erfolgreiche Versuche und verliert die tatsächlichen Kosten.

2. Nutze Forschung als Ausgangspunkt, nicht als eigene Prognose

Brynjolfsson, Li und Raymond untersuchten in der NBER-Arbeit "Generative AI at Work", revidierte Fassung von November 2023 die gestaffelte Einführung einer KI-Unterstützung bei 5.179 Supportmitarbeitern. Der Abstract berichtet unterschiedliche Produktivitätseffekte nach Erfahrung und Leistungsniveau. Hier wird nur dieser Abstract als Forschungsbezug verwendet, keine eigene Prüfung aller Daten oder Auswertungen behauptet.

Der Befund begründet die Frage nach unterschiedlichen Wirkungen. Er sagt nicht voraus, wie deine Vorlage in deinem Team abschneidet. Aufgaben, System, Datenzugang und Qualitätsanforderungen unterscheiden sich. Übernimm deshalb keine Prozentzahl aus der Studie als Sollwert für diesen Wochenversuch.

Das NIST ARIA Evaluation Planning Manual beschreibt laut Publikationsabstract die Planung von KI-Evaluationen mit Modelltests, Red Teaming und Nutzertests. Die folgende Vorlage ist eine eigene, deutlich engere Praxismethode. Sie beansprucht weder eine vollständige ARIA-Evaluation noch eine Zertifizierung. Der Forschungsbezug ersetzt nicht die Prüfung des konkreten Arbeitsablaufs.

3. Fülle die Versuchskarte vor dem ersten Fall aus

Die Versuchskarte verhindert, dass nachträglich die günstigste Fragestellung gewählt wird. Speichere die Ausgangsfassung vor dem Start. Änderungen erhalten eine neue Version mit Datum und Begründung. Ein offenes Feld wird nicht mit einer Annahme über eine unbekannte Person oder eine angebliche Freigabe gefüllt.

Keine echte Kundendatei wird allein für eine interessante Fallgeschichte in den Versuch aufgenommen. Die Datennutzung muss zum freigegebenen Arbeitszweck passen. Für einen ersten Methodentest eignen sich synthetische Unterlagen. Ein anschliessender Versuch mit realen Vorgängen braucht die dafür notwendige betriebliche Freigabe.

4. Lege den Vergleich fest und halte seine Grenzen fest

Ein Vergleich mit der alten Methode braucht ausreichend ähnliche Aufgaben. Die erste Variante ist ein getrennter Test mit vorbereiteten, vergleichbaren Fällen. Die Zuteilung zur bisherigen Methode oder zur KI-Methode erfolgt vor der Bearbeitung nach einer dokumentierten Regel. Bei einer kleinen Zahl bleibt trotz guter Planung ein möglicher Unterschied in der Schwierigkeit bestehen.

Eine zweite Variante ist die doppelte Bearbeitung derselben Testfälle. Sie erleichtert den fachlichen Vergleich, erzeugt aber einen Lerneffekt: Wer den Fall bereits kennt, bearbeitet ihn beim zweiten Durchgang unter anderen Bedingungen. Wechsle die Reihenfolge nach einem vorher festgelegten Plan und kennzeichne den verbleibenden Effekt. Unabhängige Bearbeiter reduzieren bestimmte Erinnerungsprobleme, bringen jedoch Unterschiede in Erfahrung und Arbeitsweise mit.

Eine dritte Variante beobachtet nur die KI-Nutzung im normalen Alltag. Sie kann Fehlerarten und Prüfaufwand zeigen. Ohne belastbare Vergleichsdaten erlaubt sie keine Aussage über eingesparte Zeit. Schreibe dann ausdrücklich "Aufwand mit KI beobachtet, Zeitersparnis nicht bestimmt". Eine rückblickende Schätzung des üblichen Aufwands ist kein gleichwertiger gemessener Vergleich.

Wähle vor dem Start eine dieser Varianten. Mische die Ergebnisse nicht unbemerkt. Der Beitrag KI gegen die bestehende Vorlage testen hilft bei einer fairen Vergleichsfrage. Eine neue KI-Vorlage gegen eine absichtlich schlechte Ausgangsmethode zu testen beantwortet nicht die betriebliche Entscheidung.

5. Erfasst wird der ganze Vorgang

Die aktive Bearbeitungszeit umfasst Vorbereitung, Erstellung, fachliche Prüfung, Korrektur und Übergabe. Wenn mehrere Personen beteiligt sind, werden ihre Arbeitszeiten addiert. Die Durchlaufzeit misst dagegen die vergangene Zeit zwischen definiertem Start und Abschluss. Sie darf nicht als Summe von Personenminuten ausgegeben werden.

Die Zeit für einen verworfenen KI-Entwurf bleibt im Vorgang. Wenn danach die alte Methode eingesetzt wird, zählt auch dieser Aufwand zur KI-Variante des Versuchs. Das ist keine Bestrafung des Systems, sondern eine vollständige Bilanz des tatsächlich gewählten Ablaufs. Abbrüche und Fehlversuche verschwinden nicht aus dem Nenner.

Einrichtung, Schulung und Pflege werden getrennt erfasst. Sie gehören nicht heimlich in einzelne Fallzeiten und dürfen auch nicht vollständig verschwinden. Die spätere Auswertung zeigt laufenden Aufwand und einmalige Vorbereitung separat. Erst dann lässt sich eine klar benannte Hochrechnung erstellen, sofern die Datenbasis dafür überhaupt genügt.

6. Kopierbares Fallblatt

Lege für jeden eingeschlossenen Vorgang eine Zeile an. Verwende eine pseudonyme Fallkennung statt Kundennamen. Zusätzliche Erläuterungen erhalten einen Verweis auf den geschützten Ablageort. "Nicht erfasst" bleibt von null Minuten unterscheidbar.

Erfasse ausserdem alle Vorgänge, die nicht eingeschlossen wurden, mit einem knappen Grund. Ein ungeeigneter Dateityp, eine fehlende Freigabe oder eine andere Fallklasse ist ein nachvollziehbarer Ausschluss. "Das Ergebnis sah schlecht aus" ist kein zulässiger nachträglicher Grund, einen bereits eingeschlossenen Versuch aus der Bilanz zu entfernen.

7. Wochenablauf ohne erfundene Termine

Die folgenden Tagesbezeichnungen sind eine Ablaufvorlage. Konkrete Kalenderdaten und zuständige Personen sind noch nicht festgelegt. Vor der Nutzung müssen sie in der Versuchskarte ergänzt werden.

Die tägliche Kontrolle verändert nicht automatisch die Vorlage. Wenn ein Fehler eine Änderung verlangt, endet die bisherige Version als eigener Abschnitt. Neue Fälle erhalten die neue Versionskennung. Ein zusammengefasster Durchschnitt über mehrere unkenntlich gemachte Vorlagenstände ist später kaum interpretierbar.

8. Stop-Regeln gelten vor dem nächsten Vorgang

Lege fest, welche Beobachtungen den Versuch sofort unterbrechen. Beispiele sind ein unzulässiger Datenzugriff, eine unbeabsichtigte externe Aktion oder ein fachlicher Fehler mit erheblicher Folge. Die genaue Einstufung hängt von der Aufgabe ab. Eine Rechts- oder Sicherheitsfrage wird nicht durch eine gute durchschnittliche Zeitbilanz aufgehoben.

Ein Stopp ist ein Ergebnis des Versuchs. Dokumentiere den auslösenden Fall, bereits verbrauchten Aufwand und den weiteren Bearbeitungsweg. Der Artikel Aus gescheiterten KI-Tests lernen unterstützt die Auswertung solcher Ereignisse. Ersetze den gestoppten Fall nicht still durch einen einfacheren, damit die geplante Anzahl schöner aussieht.

Auch technische Änderungen sind sichtbar zu machen. Wenn das Tool während der Woche ein anderes Modell anzeigt oder ein Konnektor ausfällt, notiere den Zeitpunkt und betroffene Fälle. Die Auswertung kann dann getrennte Abschnitte zeigen oder den Vergleich als nicht ausreichend kontrolliert kennzeichnen. Unbekannte Modellstände bleiben unbekannt.

9. Rechenweg mit ausdrücklich fiktiven Zahlen

Die folgenden Zahlen erklären ausschliesslich die Rechnung. Sie sind keine Versuchsergebnisse, keine Kundenwerte und keine Prognose. Angenommen, zehn vergleichbare Vorgänge benötigen mit der bisherigen Methode insgesamt 240 Personenminuten. Zehn Vorgänge der KI-Variante benötigen einschliesslich Prüfung, verworfener Entwürfe und Nacharbeit 210 Personenminuten. Alle zehn Ergebnisse beider Gruppen bestehen in diesem Rechenbeispiel dieselbe fachliche Abnahme.

Die laufende Differenz beträgt 240 minus 210, also 30 Minuten. Das entspricht drei Minuten je Vorgang und 12,5 Prozent des Vergleichsaufwands. Kommen 50 Minuten Einrichtung und Pflege hinzu, beträgt die gesamte KI-Zeit für diesen Zeitraum 260 Minuten. Gegenüber 240 Minuten entstehen damit 20 Minuten Mehraufwand.

Beide Aussagen gehören zusammen: weniger laufender Aufwand je Fall und mehr Gesamtaufwand im betrachteten Zeitraum. Eine Amortisationsrechnung ist hier lediglich ein Szenario. Bei unverändert drei Minuten laufender Ersparnis und einmalig 50 Minuten Aufwand wird die Schwelle nach rechnerisch 16,67, also frühestens 17 vollständigen Vorgängen erreicht. Zusätzliche Pflege oder andere Fallklassen verändern die Rechnung.

Wenn die Qualitätsabnahme unterschiedlich ausfällt, ist der reine Zeitvergleich unvollständig. Zeige dann Aufwand, Zahl nutzbarer Ergebnisse und Fehlerarten nebeneinander. Eine schnell erzeugte, unbrauchbare Antwort ist kein gleichwertiger Output. Für kleine Stichproben ergänze die Einzelwerte oder mindestens Spannweite und Fallklassen statt nur eines Durchschnitts.

10. Leeres Auswertungsblatt

Dieses Blatt bleibt bis zur tatsächlichen Durchführung leer. Es darf nicht mit den fiktiven Zahlen aus dem vorigen Abschnitt als angeblichem Ergebnis ausgefüllt werden.

Prüfe vor der Auswertung eine einfache Bilanz: Alle eingeschlossenen Fälle müssen abgeschlossen, verworfen oder noch offen sein. Eine Kategorie darf keinen Fall verschlucken. Fehlende Zeitwerte werden nicht als null eingesetzt. Wenn für einen wesentlichen Anteil keine Zeit erfasst wurde, muss die quantitative Aussage entsprechend eingeschränkt oder ganz offengelassen werden.

11. Entscheide über den nächsten Test, nicht über die ganze KI-Strategie

Am Ende stehen mögliche Entscheidungen: unverändert weiter testen, Vorlage gezielt ändern, Verwendung enger begrenzen oder Versuch beenden. Die Entscheidung muss auf den tatsächlichen Fällen beruhen. Eine kurze Woche mit wenigen Standardfällen rechtfertigt keine allgemeine Einführung in andere Teams oder Aufgaben.

Ein späterer Erfahrungsbericht braucht den ausgefüllten Datenbestand, geprüfte Rechnungen und eine redaktionelle Prüfung der zulässigen Veröffentlichung. Er nennt Zeitraum, Vergleichsmethode, Fallzahl und Grenzen. Bis dahin lautet der Status dieses Dokuments: vorbereitetes Versuchsprotokoll, Durchführung offen, Ergebnisse nicht erhoben.