Mensch und KI im Arbeitsalltag: Was SWE-Journey über gute Zusammenarbeit zeigt

KI im Arbeitsalltag braucht einen prüfbaren Arbeitsauftrag. Ein neuer Forschungsbeitrag liefert dazu einen interessanten Blick auf die Zusammenarbeit: SWE-Journey untersucht Coding-Assistenten über längere Aufgaben und mehrere Gesprächsrunden. Für Unternehmen ist daran vor allem die Frage relevant, wie Mitarbeiter Rückfragen beantworten, Fehler benennen und Ergebnisse abnehmen.

Diese Einordnung richtet sich an Teamleitungen und Verantwortliche für KI-Schulungen. Der untersuchte Einsatz ist Softwareentwicklung. Der anschliessende Übungsablauf für Büroarbeit ist mein eigener Vorschlag und keine im Paper getestete Methode.

Das Paper kurz erklärt

Hexuan Deng und Mitautoren veröffentlichten SWE-Journey am 8. Oktober 2026 als arXiv-Preprint. Der Benchmark kombiniert längere Entwicklungsaufgaben mit vier simulierten Nutzerprofilen. Er untersucht die Interaktion mit einem Assistenten über mehrere Runden.

Mit dem Profil Softwarearchitekt bestehen durchschnittlich mehr als 75 Prozent der Funktionstests, mit Nichtprogrammierern weniger als 25 Prozent. Gemessen wird Testerfolg, keine betriebliche Produktivität.

Simulierte Nutzer und begrenzter Umfang schränken die Übertragbarkeit ein. Eine Wirkung von Mitarbeiterschulungen oder ein Zeitgewinn in Büroberufen wurde nicht gemessen.

Quelle: Originalpaper: SWE-Journey: Towards More Realistic Evaluation of Coding Assistants through Long-Horizon, Multi-Turn Interaction. Für die Details sind Abschnitt 4.1 zu Nutzerprofilen, Abschnitt 4.2 und die Einschränkungen relevant.

Meine Einordnung für Unternehmen

Ich empfehle, die Zusammenarbeit selbst zum Gegenstand der Schulung zu machen. Ein Mitarbeiter muss einen Entwurf beurteilen und eine brauchbare Korrektur anstossen können. Das lässt sich an einer echten Arbeitsaufgabe üben, ohne den Mitarbeiter zum Programmierer auszubilden.

Dabei trägt das Unternehmen Verantwortung für die Voraussetzungen. Wer kein freigegebenes Werkzeug, keine verlässliche Informationsquelle oder keinen fachlichen Ansprechpartner hat, arbeitet mit offenen Grundlagen. Diese Lücken lassen sich nicht durch eine längere Prompt-Sammlung schliessen.

Die praktische Frage lautet deshalb: Was muss ein Mitarbeiter erkennen und entscheiden, damit aus einem ersten KI-Entwurf ein verwendbares Arbeitsergebnis wird? Genau diese Entscheidung muss in der Übung sichtbar werden. Ein zufriedenstellend formulierter Text allein reicht als Nachweis nicht aus.

Eine Übung: Aus einer unklaren Anfrage eine brauchbare Antwort machen

Das folgende Beispiel ist fiktiv. Es beschreibt einen Schulungsablauf, keinen ausgeführten Modelltest und kein Kundenergebnis.

Ein Kunde fragt nach dem Stand einer Lieferung und bittet um einen festen Zustelltermin. In den freigegebenen Unterlagen steht, dass die Bestellung vorbereitet wird. Ein bestätigter Versandtermin fehlt. Die Aufgabe lautet, eine Antwort vorzubereiten, die den bekannten Stand erklärt und den Termin als offenen Punkt behandelt.

Der Trainer gibt zusätzlich eine bewusst fehlerhafte, redaktionell erstellte Übungsantwort aus: Sie verspricht eine Zustellung am Freitag. Damit hängt der Lerntest nicht davon ab, ob das eingesetzte Modell zufällig einen Fehler produziert. Die Teilnehmer müssen erkennen, dass diese Zusage in der Quelle fehlt.

Eine hilfreiche Rückmeldung lautet: "Die Aussage zur Zustellung am Freitag ist unbelegt. Die Quelle nennt nur die Vorbereitung der Bestellung. Entferne die Terminzusage und kennzeichne den Termin als noch zu klären." Die Rückmeldung benennt den Fehler, seine Grundlage und die erforderliche Änderung.

Den Lernerfolg an einem neuen Fall prüfen

Nach der gemeinsamen Übung erhält ein Teilnehmer einen neuen Fall. Diesmal ist der Termin bestätigt, aber die Menge fehlt. So prüft ihr, ob die Person den Umgang mit Informationen verstanden hat oder lediglich den vorherigen Satz wiederholt.

Bewertet die Arbeitsweise anhand vorher vereinbarter Kriterien. Erkennt der Teilnehmer die offene Angabe? Beschränkt er die Antwort auf belegte Informationen? Prüft er die überarbeitete Fassung erneut? Haltet auch fest, wo eine Rückfrage an einen Kollegen nötig bleibt.

Verwechselt den Lernnachweis nicht mit einer Wirtschaftlichkeitsrechnung. Für eine solche Rechnung muss das Team später reale Vorgänge beobachten: Vorbereitung, Erstellung, Kontrolle und Nacharbeit gehören zum Gesamtaufwand. Ein kurzer Übungserfolg beweist noch keinen Zeitgewinn über eine Arbeitswoche.

Die Anleitung zur KI-Schulung mit Praxistransfer zeigt, welche Unterlagen nach einer Schulung verfügbar bleiben müssen. Für die gemeinsame Nutzung bietet sich eine wiederverwendbare Arbeitsvorlage an.

Der nächste Schritt im Team

Wählt eine Aufgabe, bei der die Mitarbeiter die Qualität fachlich beurteilen können. Dokumentiert Ausgangsinformation, Arbeitsauftrag, Prüfkriterien und offene Zuständigkeiten. Beginnt mit erlaubten oder fiktiven Daten. Die KI-Teamregeln helfen, die Rahmenbedingungen festzuhalten.

Im Pilot KI im Arbeitsalltag begleite ich diesen Transfer an den Aufgaben eures Fachbereichs. Ziel ist eine nachvollziehbare Vorgehensweise, deren Ergebnis ihr selbst prüfen könnt. Eine feste Zeitersparnis ist nicht zugesagt.

Häufige Fragen

Beweist SWE-Journey den Nutzen einer KI-Schulung?

Nein. Das Paper untersucht Coding-Assistenten mit simulierten Nutzern. Der hier beschriebene Schulungsablauf ist ein eigener Anwendungsvorschlag und muss im jeweiligen Team geprüft werden.

Müssen Mitarbeiter dafür programmieren lernen?

Für die beschriebene Büroübung ist Programmierung keine Voraussetzung. Die Mitarbeiter brauchen fachliche Kenntnis der Aufgabe und müssen Quellen, offene Angaben und unzulässige Zusagen erkennen.

Was muss vor einem Praxistest geklärt sein?

Das Team braucht ein freigegebenes Werkzeug, erlaubtes Übungsmaterial, eine verantwortliche Person und fachliche Prüfkriterien. Ein fehlender Nachweis bleibt als offener Punkt dokumentiert.

Quellenstand: 11. Oktober 2026. Forschungseinordnung zur Auswahl vom 2. bis 9. Oktober. Das Paper wurde in Version 1 geprüft; Praxisübung und Empfehlungen sind eigene redaktionelle Vorschläge.