KI-Agenten zuverlässiger einsetzen: HERMES, STEPGATE und MAScope verständlich eingeordnet

Wer KI-Agenten für Unternehmensaufgaben prüft, braucht mehr als einen überzeugenden Demonstrationslauf. Es muss sichtbar sein, welcher Schritt eine Aufgabe bearbeitet, wann Hilfe nötig ist und wie ein Fehler zurückverfolgt wird. Drei Papers aus der ersten Oktoberwoche 2026 liefern dazu unterschiedliche Forschungsansätze.

Dieser Artikel fasst HERMES, STEPGATE und MAScope zusammen. Die Ergebnisse stammen aus verschiedenen Versuchsaufbauten. Sie bilden keine gemeinsame Rangliste und belegen keine bestimmte Zeitersparnis im Unternehmen. Das anschliessende Prüfraster ist mein eigener Vorschlag für einen begrenzten Praxistest.

HERMES: Zuständigkeiten im Softwaresystem abgrenzen

Haibo Jin und Mitautoren stellen HERMES in einem Preprint vom 6. Oktober 2026 vor. Softwarebestandteile erhalten eigene KI-Bearbeiter. Das System aktiviert relevante Bestandteile anhand ihrer Abhängigkeiten und ordnet Ausführungsfehler den zu überarbeitenden Komponenten zu.

Die Autoren berichten im Standardaufbau über vier Software-Benchmarks eine durchschnittliche Verbesserung um 12,4 Prozentpunkte gegenüber den verglichenen Ausführungsarchitekturen. Das ist ein Benchmark-Unterschied unter den beschriebenen Bedingungen, kein Gewinn an Arbeitsproduktivität. Laut Einschränkungen entstehen zusätzliche Kosten und Wartezeit; die Qualität hängt von der Auswahl relevanter Komponenten und brauchbaren Fehlersignalen ab.

Quelle: Originalpaper: Harness Engineering for Software Engineering via Modular Executable Dev-Primitives. Die Methodik, Ergebnistabellen und Einschränkungen in Anhang I erklären den Versuchsaufbau.

Meine Ableitung: Vor einer komplexen Automatisierung muss jede Teilaufgabe einen klaren Eingang, einen erwarteten Ausgang und eine Prüfung haben. Mehr Agenten sind für sich genommen kein Erfolgskriterium. Zuerst muss der Nutzen der Aufteilung gegenüber einem einfachen Ablauf erkennbar sein.

STEPGATE: Hilfe an einem schwierigen Arbeitsschritt holen

Abolfazl Younesi veröffentlichte STEPGATE am 6. Oktober 2026; arXiv nennt eine Annahme für einen NeurIPS-Workshop. Das Verfahren bewertet einzelne Aktionen eines kleinen Sprachmodells und gibt ausgewählte Schritte an ein stärkeres Modell weiter.

In einem Test mit 100 mehrstufigen Aufgaben gelingen 69 Prozent der vollständigen Abläufe bei 30 Prozent Cloud-Aktionen. Rein lokal gelingen 48 Prozent; ausschliesslich mit dem stärkeren Modell 82 Prozent. Die Unterschiede gegenüber zufälliger Weitergabe und Self-Consistency sind laut gepaarter Auswertung statistisch nicht eindeutig abgesichert. Das Paper begrenzt die Aussage auf kleine, vorgegebene Tests und eine Modellfamilie. Der Anteil der Cloud-Aktionen ist keine direkt übertragbare Kostenersparnis.

Quelle: Originalpaper: Do I Need the Cloud? Uncertainty-Aware Step-Level Handoff for Small Language Model Agents. Besonders relevant sind Tabelle 3 und die direkt folgende statistische Einordnung.

Meine Ableitung: Definiert vor dem Test, welche Situation eine zusätzliche Prüfung auslöst. Ein fehlender Wert, eine widersprüchliche Quelle und ein unzulässiger Zugriff brauchen unterschiedliche Reaktionen. Ein stärkeres Modell ersetzt keine Datenfreigabe und keine fachliche Entscheidung. Je nach Fall muss ein Mensch übernehmen.

MAScope: Informationswege für die Fehlerdiagnose nutzen

Xinwen Liu und Mitautoren veröffentlichten MAScope am 7. Oktober 2026 als Preprint. Das Verfahren rekonstruiert aus Ablaufprotokollen die Kommunikation zwischen Agenten und verwendet diese Struktur bei der Fehlerklassifikation.

Auf 851 MAST-clean-Protokollen steigt der Macro-F1-Wert eines kleinen Modells mit bekannter Kommunikationsstruktur von 0,173 auf 0,350. Mit vorhergesagter Struktur erreicht das Verfahren 0,346. Macro-F1 ist eine über Fehlerklassen gemittelte Bewertungskennzahl, keine Quote fehlerfreier Arbeitsabläufe. Die im Paper genannte Kostenreduktion ist eine Projektion für 1.000 Protokolle bei fester Orchestrierungsstruktur. Das Verfahren diagnostiziert Fehler; damit ist keine automatische Behebung nachgewiesen.

Quelle: Originalpaper: Know the Shape, Find the Fault: Topology-Conditioned Diagnosis of Multi-Agent LLM Failures. Der Volltext beschreibt Extraktion, Diagnose und Auswertung.

Meine Ableitung: Ein brauchbares Betriebsprotokoll muss zeigen, welche Informationen ein Bearbeitungsschritt erhalten und weitergegeben hat. Die letzte Fehlermeldung allein reicht für die Ursachenprüfung eines mehrstufigen Ablaufs oft nicht aus. Für vertrauliche Inhalte muss die Protokollierung auf den erlaubten Umfang beschränkt bleiben.

Eigener Praxistransfer: Eine interne Anfrage prüfen

Das folgende Szenario ist fiktiv und kein Test der drei Forschungsverfahren. Ein Team will eingehende interne Anfragen mit KI vorbereiten. Die KI soll die Anfrage ordnen, passende freigegebene Informationen zuordnen und einen Entwurf erstellen. Ein Mitarbeiter prüft die Antwort vor der Weitergabe.

Ich empfehle, zunächst einen einfachen Ablauf mit klaren Prüfpunkten zu testen. Ob dafür mehrere Agenten, ein einzelner Assistent oder eine manuelle Vorlage nötig sind, bleibt eine nachgelagerte Entscheidung.

Dieses Raster legt keine technische Architektur fest. Es beschreibt die Anforderungen, gegen die ihr eine Umsetzung prüft. Ein technischer Anbieter muss zeigen, wie sein System diese Anforderungen in eurem Fall erfüllt.

Was in den Test gehört

Nutzt getrennte Fälle für einen normalen Vorgang, fehlende Angaben und widersprüchliche Informationen. Nehmt ausserdem eine spätere Änderung auf: Eine bisher gültige Quelle wird ersetzt. Dann muss die Antwort mit der neuen Fassung geprüft werden.

Legt für jeden Fall vorher fest, was als korrekt gilt. Ein System, das bei einer offenen Frage zuverlässig stoppt, erfüllt möglicherweise genau die vereinbarte Anforderung. Ein flüssiger Antworttext trotz fehlender Grundlage fällt durch.

Messt den gesamten Vorgang. Dazu gehören Einrichtung, Modellaufrufe, Wartezeiten und manuelle Prüfung. Haltet Fehlversuche und Wiederholungen fest. Wenn die Beteiligten nur erfolgreiche Beispiele auswählen, bleibt der Aufwand für den späteren Betrieb unsichtbar.

Das KI-Testpaket hilft bei der Dokumentation eigener Prüffälle. Die Entscheidungsvorlage für einen KI-Pilot verbindet die Prüfergebnisse mit der Frage, ob ein Vorhaben fortgesetzt wird.

Was für die Mitarbeiterbefähigung zuerst kommt

Für ein Team, das KI bisher nur für gelegentliche Fragen nutzt, ist dieser technische Ausbau kein notwendiger Einstieg. Beginnt mit einer fachlich prüfbaren Aufgabe und einer dokumentierten Vorgehensweise. Der Artikel über wiederverwendbare ChatGPT-Arbeitsabläufe zeigt einen solchen manuellen Einstieg.

Wenn Mitarbeiter Aufgaben auswählen, Quellen bereitstellen und Ergebnisse kontrollieren können, entsteht eine Grundlage für spätere technische Entscheidungen. Der Pilot KI im Arbeitsalltag setzt an dieser Befähigung an. Die Umsetzung einer Agentenarchitektur ist ein eigener Leistungsumfang.

Häufige Fragen

Welches der drei Verfahren ist das beste?

Die Papers untersuchen unterschiedliche Aufgaben und verwenden unterschiedliche Messgrössen. Aus den Ergebnissen entsteht keine belastbare gemeinsame Rangliste. Eine Auswahl braucht eigene Anforderungen und vergleichbare Tests.

Bedeutet weniger Cloud-Nutzung automatisch geringere Gesamtkosten?

Nein. Zu den Gesamtkosten gehören lokale Infrastruktur, Einrichtung, Modellaufrufe, Wartezeiten und manuelle Nacharbeit. Der Anteil externer Aktionen allein beantwortet die Kostenfrage nicht.

Braucht unser Team mehrere KI-Agenten?

Das muss aus der Aufgabe hervorgehen. Beginnt mit einem einfachen prüfbaren Ablauf. Eine Aufteilung braucht einen nachgewiesenen Vorteil gegenüber dieser Ausgangslösung und klare Zuständigkeiten.

Quellenstand: 11. Oktober 2026. Alle drei arXiv-Papers wurden in Version 1 geprüft. Die Praxisübertragung ist eine eigene Empfehlung; die beschriebenen Verfahren wurden hier nicht implementiert oder selbst getestet.