Warum ein Mittelwert den KI-Pilot falsch aussehen lässt

Ein KI-Pilot lässt sich nicht mit einer einzigen Durchschnittszahl beurteilen. Du brauchst neben dem Mittelwert die einzelnen Fälle, ihre Qualität und die Verteilung über unterschiedliche Aufgaben. Sonst verdecken wenige schnelle Ergebnisse die teuren Fehler. Oder ein ungewöhnlich schwieriger Vorgang lässt eine brauchbare Arbeitsweise schlechter erscheinen, als sie für den vorgesehenen Einsatz ist.

Dieser Artikel zeigt einen eigenen Auswertungsablauf für kleine betriebliche Tests. Alle Zahlenbeispiele sind fiktiv. Sie erklären Rechenwege und Fehlinterpretationen, keine gemessenen Kundenergebnisse. Die Erfassung des gesamten Aufwands beschreibt der Artikel KI-Zeitersparnis messen. Hier geht es um die nächste Frage: Welche Aussage erlaubt die Verteilung der gemessenen Werte?

Erst die Beobachtungseinheit festlegen

Eine Zeile muss einen klar abgegrenzten Vorgang beschreiben. Bei einer Kundenantwort beginnt dieser Vorgang beispielsweise mit dem Öffnen der Unterlagen und endet mit der fachlichen Freigabe. Zehn Nachrichten innerhalb desselben Falls sind dann keine zehn unabhängigen Beobachtungen. Drei Wiederholungen desselben Prompts gehören ebenfalls zum ursprünglichen Vorgang, wenn erst der dritte Entwurf verwendet wird.

Notiere, wer den Vorgang bearbeitet, welche Fallklasse vorliegt und welches Ergebnis akzeptiert wurde. Ohne diese Angaben lassen sich unterschiedliche Arbeitsbedingungen später nicht mehr auseinanderhalten. Ein Test mit erfahrenen Beschäftigten und einfachen Fällen beantwortet eine andere Frage als ein Test mit neuen Beschäftigten und unvollständigen Unterlagen.

Die Messung muss fehlgeschlagene Versuche enthalten. Wenn nach einem unbrauchbaren KI-Ergebnis manuell weitergearbeitet wird, gehört beides zur Zeit des KI-gestützten Ablaufs. Ein leeres Zeitfeld bedeutet fehlende Messung. Es ist weder eine Null noch ein kostenlos erledigter Fall. Gerade diese Unterscheidung verhindert einen künstlich guten Durchschnitt.

Mittelwert und Median beantworten verschiedene Fragen

Der Mittelwert ist die Summe aller Werte geteilt durch ihre Anzahl. Der Median liegt in der Mitte der sortierten Werte; bei einer geraden Anzahl wird der Mittelwert der beiden mittleren Werte verwendet. Das Statistik-Handbuch des NIST erläutert diese Lagemasse. Ein Mittelwert reagiert auf sehr hohe Einzelwerte stärker als der Median.

Für die Personalplanung ist die Summe relevant: Auch ein seltener langer Fehlerfall verbraucht Arbeitszeit. Für die Beschreibung eines typischen Falls hilft der Median. Deshalb ersetzt du den Mittelwert nicht einfach durch die freundlichere Zahl. Du zeigst beide und erklärst, welche Entscheidung sie unterstützen.

Der Median ist kein Beleg für geringe Risiken. Neun gelungene Ergebnisse und ein fachlich gefährlicher Fehler ergeben einen guten typischen Fall. Die Freigabe hängt trotzdem davon ab, ob der Fehler zuverlässig erkannt und abgefangen wird. Qualität braucht deshalb eine eigene Auswertung neben den Zeitwerten.

Ein Beispiel mit einem teuren Ausreisser

Ein Team bearbeitet zehn vergleichbare Vorgänge. Ohne KI benötigt jeder Vorgang zwölf Minuten. Mit KI entstehen folgende vollständig erfasste Zeiten: 6, 7, 7, 8, 8, 8, 9, 10, 12 und 45 Minuten. Im letzten Fall hat die KI eine falsche Zuordnung erzeugt, die erst bei der Abschlussprüfung auffällt.

Die Aussage "Der typische Vorgang dauert vier Minuten weniger" passt zu diesen Daten. Die Aussage "Wir sparen ein Drittel der gesamten Zeit" passt nicht. Die Gesamtzeit bleibt gleich. Ein Bericht mit ausschliesslich dem Median verschweigt hier genau den Fall, der die Kapazitätsplanung belastet.

Auch die umgekehrte Verkürzung ist falsch: "KI bringt nichts." Acht Vorgänge dauern weniger als zwölf Minuten, einer gleich lange und einer erheblich länger. Das Ergebnis begründet eine Untersuchung der Fehlerklasse. Vielleicht lässt sie sich schon am Eingang erkennen und an einen anderen Ablauf geben. Ob das gelingt, muss ein neuer Test zeigen.

Den Ausreisser untersuchen statt entfernen

Prüfe zuerst einen Messfehler. Wurde eine Pause versehentlich als aktive Bearbeitungszeit gezählt? Ist der Startzeitpunkt falsch? Wurde derselbe Vorgang doppelt eingetragen? Eine nachweisbare Korrektur erhält eine Begründung im Messblatt. Der ursprüngliche Wert bleibt nachvollziehbar.

Ist der Wert korrekt, gehört er in die Auswertung. Beschreibe den Fehlermechanismus: falsche Quelle, unvollständiger Auftrag, unklare Zuständigkeit oder übersehene Abweichung. "Ausreisser" ist eine statistische Beschreibung, keine fachliche Erklärung. Eine Löschung allein wegen der Höhe verfälscht den tatsächlich erlebten Aufwand.

Du kannst zusätzlich eine Sensitivitätsrechnung ohne diesen Fall zeigen. Beschrifte sie eindeutig: "Neun Fälle ohne den dokumentierten Fehlerfall". Im Beispiel verbleiben 75 Minuten für neun Vorgänge, also rund 8,33 Minuten je Vorgang. Diese Rechnung zeigt die Bedeutung des Fehlers. Sie ersetzt nicht die Hauptauswertung mit allen zehn Fällen.

Unterschiedliche Fallmischungen erzeugen falsche Vergleiche

Eine zweite Fehlerquelle entsteht, wenn sich der Anteil einfacher und schwieriger Vorgänge verändert. Angenommen, einfache Fälle brauchen ohne KI zehn und mit KI acht Minuten. Schwierige Fälle brauchen ohne KI dreissig und mit KI fünfundzwanzig Minuten. Innerhalb beider Klassen ist der KI-Ablauf schneller.

In der Vergleichswoche ohne KI liegen acht einfache und zwei schwierige Fälle vor. Die Gesamtzeit beträgt 140 Minuten, der Mittelwert vierzehn. In der KI-Woche liegen zwei einfache und acht schwierige Fälle vor. Die Gesamtzeit beträgt 216 Minuten, der Mittelwert 21,6. Der rohe Wochenvergleich zeigt eine Verschlechterung, obwohl beide Klassen schneller bearbeitet werden.

Die richtige Reaktion ist keine nachträgliche Auswahl angenehmer Fälle. Du berichtest die Klassen getrennt und rechnest zusätzlich mit einer festen Mischung. Bei je fünf einfachen und fünf schwierigen Fällen ergeben sich ohne KI 200 Minuten und mit KI 165 Minuten. Diese standardisierte Rechnung ist ein Szenario, keine tatsächlich gemessene Woche.

Erfahrung und Aufgabe getrennt betrachten

Unterschiedliche Effekte nach Erfahrung sind auch in Forschung sichtbar. Das NBER-Arbeitspapier Generative AI at Work, Fassung November 2023, untersucht die Einführung einer Assistenz bei 5.179 Beschäftigten im Kundensupport. Die beobachteten Produktivitätsänderungen unterscheiden sich nach Erfahrung und Qualifikation. Das ist kein allgemeiner Wirkungswert für jedes Unternehmen.

Für deinen Test folgt daraus eine Prüfidee, keine garantierte Erwartung: Zeige Ergebnisse nach sinnvoll gewählten Gruppen. Bei kleinen Teams reichen beschreibende Falltabellen. Eine Gruppe aus zwei Personen erlaubt keine belastbare Aussage über alle Berufseinsteiger. Zudem können Person, Aufgabe und Schicht gleichzeitig variieren.

Lege Gruppierungen vor der Auswertung fest. Wenn du hinterher zwanzig Untergruppen ausprobierst und nur die beste veröffentlichst, entsteht ein verzerrtes Bild. Zusätzliche Entdeckungen gehören als neue Hypothesen in den nächsten Testplan. So bleibt erkennbar, welche Frage ursprünglich geprüft wurde und welche erst aus den Daten entstand.

Kleine Stichproben richtig beschreiben

Zehn Fälle sind für einen ersten Arbeitsversuch nützlich, aber keine automatische Grundlage für eine Jahreshochrechnung. Die nächsten zehn Fälle enthalten eventuell andere Unterlagen, andere Personen oder einen bislang unbekannten Fehler. Wiederholte Tests desselben Falls vergrössern zudem nicht im gleichen Sinn die Vielfalt deiner Stichprobe.

Zeige deshalb die Anzahl vollständiger Messungen, fehlende Werte und den Beobachtungszeitraum. Ergänze eine sortierte Punktdarstellung oder eine einfache Tabelle. Bei sehr wenigen Werten ist das informativer als ein aufwendig geglättetes Diagramm. Leser müssen erkennen, ob eine Aussage auf drei oder dreihundert unterschiedlichen Vorgängen beruht.

Unsicherheitsintervalle sind sinnvoll, wenn Fragestellung und Datenstruktur dafür passen. Ein automatisch erzeugtes Intervall ignoriert möglicherweise die Abhängigkeit mehrerer Fälle derselben Person. Lass die Auswertungsmethode bei grösseren Investitionsentscheidungen fachlich prüfen. Eine präzise Dezimalzahl macht eine schwache Datengrundlage nicht genauer.

Ein Messblatt, das die wichtigen Unterschiede erhält

Nutze pro Vorgang mindestens eine Kennung, Fallklasse, Bearbeitungsweg, Person oder anonymisierte Rolle, aktive Zeit, Wartezeit, Qualitätsstatus und Fehlerbeschreibung. Trenne Einrichtungskosten von wiederkehrendem Aufwand. Der Artikel zum Prüfaufwand bei KI erklärt, warum die Kontrolle ein eigener Messpunkt bleibt.

Ergänze ein Feld "Messung vollständig". Fehlt die Nacharbeitszeit, darf der Fall nicht still in den Durchschnitt vollständiger Zeiten eingehen. Berichte ihn als unvollständig und versuche, die fehlende Information nachzutragen. Falls das nicht gelingt, zeige die Datenlücke neben dem Ergebnis.

Eine zweite Tabelle fasst jede Fallklasse zusammen: Anzahl, Summe, Mittelwert, Median, Spannweite und Zahl nicht akzeptierter Ergebnisse. Die Spalten haben unterschiedliche Zwecke. Die Summe beantwortet Kapazitätsfragen, der Median beschreibt die Mitte und die Fehlerzahl zeigt, wo eine Freigabe noch scheitert.

Eine Entscheidung aus den Daten ableiten

Formuliere die Entscheidung auf der passenden Ebene. Im ersten Beispiel lautet sie nicht "KI einführen" oder "KI abschaffen", sondern beispielsweise: "Den Ablauf nur für die bisher fehlerfreien Fallklassen weiter testen; den 45-Minuten-Fall rekonstruieren und eine erkennbare Ausschlussregel prüfen." Das ist eine eigene Empfehlung für das fiktive Szenario.

Die Person, die den Prozess verantwortet, legt vor dem nächsten Test fest, welche Fehler eine Freigabe ausschliessen. Der Fachbereich prüft die Ergebnisqualität. Die Auswertung dokumentiert, ob neue Fälle die vermutete Verbesserung tatsächlich zeigen. Keine dieser Rollen darf durch einen guten Durchschnitt ersetzt werden.

Prüfe auch die Verlagerung von Arbeit. Wenn die Bearbeitung schneller wird, aber die Freigabe länger dauert, muss der Bericht beide Rollen enthalten. Eine Anleitung dafür findest du im Beitrag über KI-Nacharbeit bei Kollegen. Die Prozessgrenze bestimmt, ob dein Mittelwert überhaupt den richtigen Aufwand misst.

Die geplante Mengenverteilung offenlegen

Für eine spätere Hochrechnung muss die erwartete Verteilung der Fallklassen bekannt sein. Wenn sie nur geschätzt ist, zeige mehrere plausible Mischungen statt einer einzigen scheinbar sicheren Jahreszahl. Im Beispiel mit einfachen und schwierigen Fällen verändert schon die Mischung den Gesamteindruck erheblich. Notiere deshalb, aus welchem Zeitraum die angenommene Verteilung stammt und ob saisonale Spitzen enthalten sind.

Eine Hochrechnung verbindet gemessene Werte mit Annahmen über zukünftige Mengen. Kennzeichne beide Bestandteile getrennt. Wenn die Teamleitung andere Mengen erwartet, muss sie die Rechnung mit diesen Werten wiederholen können. Die Entscheidung bleibt dadurch überprüfbar, auch wenn sich der Betrieb später verändert.

Abnahme für deinen nächsten Pilotbericht

Vor der Weitergabe muss der Bericht seine Grundgesamtheit nennen: Welche Vorgänge sind enthalten, welche fehlen und warum? Jede Kennzahl braucht eine Einheit und einen Nenner. Der Median darf nicht als Gesamtersparnis bezeichnet werden. Unterschiedliche Fallmischungen müssen sichtbar sein, bevor du eine Veränderung der Arbeitsweise zuschreibst.

Kontrolliere dann drei konkrete Rechnungen im Originalmessblatt: die Summe aller vollständigen Zeiten, die sortierten mittleren Werte und die Zahl akzeptierter Ergebnisse. Lass einen Kollegen einen auffälligen Fall vom Bericht bis zur Rohzeile zurückverfolgen. Gelingt diese Verbindung nicht, fehlt dem Bericht die Grundlage für eine überprüfbare Entscheidung.

Der fertige Bericht endet mit dem nächsten begrenzten Prüfschritt und den noch offenen Fragen. Er verspricht keine Rendite aus einer kleinen Stichprobe. Sein Nutzen besteht darin, dass die Teamleitung erkennt, bei welchen Aufgaben der Ablauf trägt, wo er scheitert und welche zusätzliche Messung die nächste Entscheidung verändert.