KI gegen die bestehende Vorlage testen: Der faire Vergleich

Eine KI-Lösung muss gegen die tatsächlich verfügbare Alternative antreten. Wenn dein Team bereits eine gute Vorlage, eine Suchfunktion oder eine feste Prüfliste hat, ist das der Ausgangspunkt. Ein Vergleich mit einer absichtlich umständlichen manuellen Arbeitsweise überschätzt den Nutzen. Ein fairer Test hält Aufgabe und Qualitätsanforderung gleich und erfasst den vollständigen Aufwand beider Wege.

Dieser Artikel beschreibt einen eigenen Vergleichsplan für kleine betriebliche Versuche. Alle Beispielzahlen sind fiktiv. Der Plan ersetzt keine statistische Beratung bei grossen Investitionen, liefert aber eine prüfbare Grundlage für die nächste Teamentscheidung. Die vollständige Zeitmessung erklärt KI-Zeitersparnis messen.

Die Alternative muss ehrlich beschrieben sein

Frage zuerst, wie ein gut eingearbeiteter Mitarbeiter die Aufgabe heute erledigt. Nutzt er Textbausteine, eine Tabelle oder eine gespeicherte Suche? Welche Informationen stehen ihm zur Verfügung? Wie häufig prüft eine zweite Person das Ergebnis? Diese Bedingungen gehören in die Beschreibung der Vergleichsvariante.

Ein veraltetes Formular ist keine faire Stellvertretung für eine leicht verbesserbare Vorlage. Wenn sich der bestehende Ablauf mit einer kleinen Änderung deutlich verbessern lässt, ist diese Variante eine ernsthafte Alternative. Die Entscheidung lautet dann nicht automatisch KI oder Handarbeit. Sie kann zwischen mehreren unterschiedlich aufwendigen Verbesserungen liegen.

Die britische Leitlinie zur Wirkungsevaluation von KI-Interventionen betont die klare Beschreibung der Vergleichsgruppe und des bisherigen Betriebs. Sie richtet sich an Evaluationen und liefert keine pauschale Testgrösse für dein Team. Für den hier vorgeschlagenen Versuch ist die transparente Vergleichsbasis der relevante Punkt.

Die Aufgabe vor dem Werkzeug festlegen

Formuliere einen vollständigen Arbeitsauftrag. Beispiel: Aus einem freigegebenen Kundenfall entsteht eine interne Übergabe mit Vorgangsnummer, Sachverhalt, belegten Fristen und offenen Entscheidungen. Das Ergebnis muss von einer anderen Person ohne Rückgriff auf mündliche Zusatzinformationen bearbeitbar sein.

Danach definierst du die Qualitätsmerkmale. Welche Angaben sind zwingend? Welche Ergänzungen sind verboten? Wann muss das Ergebnis eine Rückfrage auslösen? Erst wenn diese Fragen beantwortet sind, lässt sich bewerten, ob ein schneller Entwurf tatsächlich eine brauchbare Leistung ist.

Vermeide ein Ziel, das schon die Lösung vorgibt, etwa "eine möglichst gute KI-Zusammenfassung". Das schliesst bessere Alternativen sprachlich aus. Eine gut strukturierte Tabelle kann für die Übergabe geeigneter sein als ein flüssiger Absatz. Der Test muss die Aufgabe erfüllen, nicht das Werkzeug bestätigen.

Zwei oder drei Varianten bewusst wählen

Für einen ersten Vergleich reichen oft zwei Varianten: die bestehende Vorlage und dieselbe Aufgabe mit KI-Unterstützung. Wenn du gleichzeitig die Vorlage verbesserst, lohnt sich eine dritte Variante: verbesserte Vorlage ohne KI. Damit wird sichtbar, ob der Nutzen aus der besseren Struktur oder aus der automatisierten Formulierung stammt.

Der zusätzliche Vergleich verursacht Aufwand. Nutze ihn, wenn die Entscheidung sonst unklar bleibt oder wenn die geplanten Betriebskosten erheblich sind. Bei einer kleinen, leicht rückgängig zu machenden Änderung genügt zunächst eine beschreibende Gegenüberstellung. Bezeichne deren Ergebnis dann nicht als strengen Kausalnachweis.

Halte je Variante fest, welche Hilfen erlaubt sind. Ein KI-Nutzer mit vollständiger Wissenssammlung und ein Vergleichsnutzer ohne dieselben Quellen bearbeiten keine gleichwertige Aufgabe. Unterschiedliche Zugriffe müssen entweder ausgeglichen oder als Teil des getesteten Gesamtpakets ausdrücklich beschrieben werden.

Ein fiktives Vergleichsbeispiel

Ein Team erstellt zwanzig Übergaben je Variante. Die bisherige Vorlage benötigt insgesamt 240 Minuten bis zur Freigabe. Eine verbesserte Vorlage ohne KI benötigt 200 Minuten. Die KI-Variante benötigt 180 Minuten einschliesslich Prüfung und Nacharbeit. Alle Zahlen beschreiben vollständig akzeptierte Ergebnisse.

Gegenüber dem bisherigen Ablauf beträgt der Unterschied sechzig Minuten. Davon entfallen in diesem Beispiel vierzig Minuten bereits auf die verbesserte Vorlage. Der zusätzliche Unterschied durch die KI-Variante beträgt zwanzig Minuten. Diese Zerlegung verhindert, dass der gesamte Nutzen der KI zugeschrieben wird.

Nun entstehen für die KI-Variante dreissig Minuten zusätzliche Pflege pro Woche. Bei genau zwanzig vergleichbaren Fällen liegt ihr wiederkehrender Aufwand damit bei 210 Minuten. Die verbesserte Vorlage benötigt 200 Minuten. In diesem Szenario ist die KI-Variante trotz schnellerer Einzelbearbeitung insgesamt aufwendiger. Andere Qualitätsvorteile bleiben separat zu prüfen.

Dieselben Fälle nicht unkontrolliert wiederholen

Wenn eine Person denselben Fall erst ohne und danach mit KI bearbeitet, kennt sie beim zweiten Durchlauf bereits die Lösung. Der Zeitunterschied enthält dann einen Lerneffekt. Ein schneller zweiter Versuch belegt nicht automatisch die Überlegenheit der zweiten Methode.

Eine Möglichkeit sind vergleichbare Fallpaare mit unterschiedlichem Inhalt. Eine andere ist eine wechselnde Reihenfolge, sodass nicht immer dieselbe Variante zuerst kommt. Beides muss zum Betrieb passen und dokumentiert sein. Eine solche Planung reduziert Verzerrungen, beseitigt aber nicht automatisch alle Unterschiede.

Nutze Trainingsfälle zum Kennenlernen und getrennte Prüffälle für die Auswertung. Sobald eine Vorlage anhand eines Prüffalls verändert wird, ist dieser Fall Teil der Entwicklung. Er bleibt als Regressionstest nützlich, liefert aber keinen unverbrauchten Nachweis mehr für den nächsten Leistungsbericht.

Wer prüft, darf die gewünschte Antwort nicht vorgeben

Bewerte die Ergebnisse nach einem vorab festgelegten Raster. Wo praktikabel, sieht die prüfende Person zunächst nicht, aus welcher Variante ein Ergebnis stammt. Das verhindert keine fachlichen Fehler, reduziert aber die unmittelbare Wirkung von Erwartungen an das Werkzeug.

Die Prüfung muss konkrete Aussagen kontrollieren. Stimmen Frist, Zuständigkeit und Sachverhalt mit den Quellen überein? Sind offene Punkte sichtbar? Ist eine Zusage hinzugekommen? Ein allgemeiner Eindruck wie "klingt professionell" ist für diese Aufgabe kein ausreichendes Qualitätsmerkmal.

Definiere zulässige sprachliche Unterschiede. Zwei Übergaben können fachlich gleichwertig sein, obwohl sie anders formuliert sind. Die Prüfer müssen Bedeutung und Nutzbarkeit bewerten. Eine exakte Übereinstimmung mit einem Mustertext ist nur dort sinnvoll, wo eine feste Formulierung tatsächlich vorgeschrieben ist.

Fehlversuche gehören zum Ergebnis

Wenn die KI drei Entwürfe erzeugt und erst der letzte akzeptiert wird, zählt der gesamte Aufwand. Wenn ein Mitarbeiter zur bestehenden Vorlage zurückkehrt, bleibt auch diese Rückkehr Teil der KI-Variante. Andernfalls verschwinden gerade die Fälle, die im Betrieb Zeit und Aufmerksamkeit kosten.

Erfasse deshalb alle gestarteten Vorgänge und ihren Ausgang. Neben akzeptiert und abgelehnt brauchst du gegebenenfalls abgebrochen oder noch nicht vollständig beobachtet. Die Zahl akzeptierter Ergebnisse steht immer neben der Zahl gestarteter Fälle. Eine hohe Qualität nach Aussortieren vieler Versuche beschreibt etwas anderes als eine hohe Erstpassqualität.

Der Artikel Wann du eine KI-Ausgabe verwerfen musst erklärt den fachlichen Stopp. Für den Vergleich ist zusätzlich wichtig, dass dieses Verwerfen nicht aus der Kostenrechnung verschwindet. Ein korrekt gestoppter Fehler ist sicherer als ein übernommener Fehler, bleibt aber ein bearbeiteter Versuch.

Qualität und Geschwindigkeit nicht beliebig verrechnen

Eine Minute Zeitgewinn gleicht keinen falschen Betrag aus, wenn der Betrag eine reale Buchung auslöst. Lege deshalb zuerst Ausschlusskriterien fest. Erst die Ergebnisse, die diese Kriterien erfüllen, werden hinsichtlich Aufwand und Bedienbarkeit verglichen. Diese Reihenfolge ist eine eigene Empfehlung für betriebliche Abnahmen.

Für weniger kritische Unterschiede kannst du abgestufte Bewertungen verwenden, etwa Verständlichkeit oder notwendige Nachformatierung. Halte die Gewichte vor dem Test fest. Ein nachträgliches Verschieben der Gewichtung zugunsten der bevorzugten Variante macht die Rangfolge wenig aussagekräftig.

Zeige Zielkonflikte offen. Eine Variante kann schneller sein und mehr Rückfragen erzeugen. Eine andere kann länger dauern und weniger fachliche Korrekturen benötigen. Die Entscheidung darüber gehört zur Prozessverantwortung. Ein einzelner Gesamtscore versteckt diese Abwägung häufig mehr, als er sie erklärt.

Kleine Unterschiede nicht überinterpretieren

Wenn zwei Varianten bei wenigen Fällen fast gleich abschneiden, ist das ein unklarer Befund. Die Differenz kann durch Fallmischung, Tagesform oder Messfehler entstehen. Wiederhole den Vergleich mit neuen Fällen, bevor du eine kleine Abweichung als dauerhaften Vorteil darstellst.

Die QPIE-Leitlinie zur Qualität von Wirkungsevaluationen beschreibt die Grenzen einfacher Vorher-nachher-Vergleiche ohne geeignete Vergleichsgruppe. Sie behandelt öffentliche Massnahmen. Der übertragene methodische Punkt ist begrenzt: Beobachtete Unterschiede brauchen eine Prüfung alternativer Erklärungen.

Bei kleinen Teamversuchen ist eine ehrliche Beschreibung oft nützlicher als ein unpassender Signifikanztest. Zeige Rohzahlen, Fallklassen und Unsicherheiten. Wenn die Entscheidung teuer oder schwer rückgängig zu machen ist, muss das Untersuchungsdesign entsprechend stärker sein. Die notwendige Sicherheit folgt aus der Entscheidung, nicht aus dem Wunsch nach einer positiven Kennzahl.

Das Vergleichsprotokoll vorbereiten

Das Protokoll enthält die Aufgabe, die Varianten, erlaubte Hilfen, Trainings- und Prüffälle, Qualitätskriterien, Zeitgrenzen und die Auswertungsregel. Ergänze Modell- und Vorlagenstand. Notiere Änderungen während des Tests, statt sie still in die ursprüngliche Variante einzubauen.

Jeder Vorgang erhält eine Kennung und einen dokumentierten Ausgang. Die Zeitfelder trennen Vorbereitung, Bearbeitung, Prüfung und Nacharbeit. Einrichtungs- und Pflegeaufwand stehen separat, damit der spätere Mengeneffekt nachvollziehbar bleibt. Fehlende Werte werden ausdrücklich markiert und nicht als Null behandelt.

Eine zweite Person muss aus dem Protokoll rekonstruieren können, wie die Rangfolge entstand. Dazu braucht sie keine vertraulichen Volltexte, wenn sichere Referenzen und freigegebene Prüfauszüge genügen. Die Nachvollziehbarkeit darf nicht mit einer unnötigen Verteilung sensibler Daten erkauft werden.

Wechselkosten als eigene Entscheidung behandeln

Selbst bei einem positiven laufenden Vergleich entstehen möglicherweise einmalige Aufwände für Umstellung, Einweisung und Dokumentation. Erfasse diese Werte getrennt von der Bearbeitung eines einzelnen Falls. Teile sie nicht durch eine beliebig hohe zukünftige Fallzahl, nur damit der Betrag klein wirkt. Der gewählte Zeitraum und die erwartete Menge müssen begründet sein.

Wenn ein Team den bisherigen Ablauf bereits sicher beherrscht, gehört auch die Übergangsphase in die Planung. Alte und neue Varianten können zeitweise parallel laufen. Der Vergleichsbericht muss zeigen, ob diese zusätzliche Belastung bereits berücksichtigt ist oder noch als offene Planungsaufgabe besteht. Eine gemessene Minute je Fall ist noch kein vollständig bewerteter Wechsel.

Eine begrenzte Freigabe formulieren

Ein brauchbares Ergebnis lautet beispielsweise: "Für vollständige Standardfälle zeigt die KI-Variante im Test weniger aktive Bearbeitungszeit. Bei der aktuellen Menge übersteigt die zusätzliche Pflege diesen Vorteil. Wir verwenden zunächst die verbesserte Vorlage ohne KI und prüfen die KI-Variante erneut, wenn sich Menge oder Pflegeaufwand ändern."

Diese Entscheidung ist kein Urteil über KI insgesamt. Sie beschreibt die getestete Aufgabe unter dokumentierten Bedingungen. Wenn andere Vorteile wichtig sind, etwa eine bessere Übergabequalität, müssen sie mit eigenen Beobachtungen in die Entscheidung eingehen. Nicht gemessene Vorteile bleiben Hypothesen.

Vor dem Abschluss kontrollierst du, ob die Vergleichsvorlage tatsächlich der aktuellen Arbeitsweise entspricht und ob alle Fehlversuche enthalten sind. Der Beitrag zum Versionieren von KI-Arbeitsvorlagen hilft, spätere Änderungen nachvollziehbar zu halten. Ein fairer Vergleich bleibt nur fair, wenn seine Varianten eindeutig identifizierbar sind.