Fine-Tuning: SFT, GRPO und RULER richtig auswählen und prüfen
Fine-Tuning verändert Modellparameter. Ob sich das lohnt, entscheidet ein Vergleich mit einer funktionierenden Ausgangslösung und einem unabhängigen Testbestand. SFT lernt aus Demonstrationen; GRPO optimiert anhand bewerteter Ausgaben. RULER liefert im ART-Framework relative Bewertungen für solche Trainingsläufe. Keines dieser Verfahren ist für jede Unternehmensaufgabe überlegen.
Definition
Fine-Tuning: Fine-Tuning verändert Modellparameter. Ob sich das lohnt, entscheidet ein Vergleich mit einer funktionierenden Ausgangslösung und einem unabhängigen Testbestand. SFT lernt aus Demonstrationen; GRPO optimiert anhand bewerteter Ausgaben. RULER liefert im ART-Framework relative Bewertungen für solche Trainingsläufe. Keines dieser Verfahren ist für jede Unternehmensaufgabe überlegen.
Fine-Tuning verändert Modellparameter. Ob sich das lohnt, entscheidet ein Vergleich mit einer funktionierenden Ausgangslösung und einem unabhängigen Testbestand. SFT lernt aus Demonstrationen; GRPO optimiert anhand bewerteter Ausgaben. RULER liefert im ART-Framework relative Bewertungen für solche Trainingsläufe. Keines dieser Verfahren ist für jede Unternehmensaufgabe überlegen.
Dieser Leitfaden trennt die Verfahren, beschreibt ein Prüfverfahren und zeigt, welche Nachweise vor einem Training fehlen. Die Entscheidungshilfen sind eigene methodische Empfehlungen. Sie sind keine selbst durchgeführte Vergleichsstudie und enthalten keine Zusage für Qualitätsgewinn oder geringere Kosten.
Zuerst die Ursache des Fehlers bestimmen
Ein Wissensassistent beantwortet eine Frage mit einem veralteten Preis. Dafür gibt es mehrere mögliche Ursachen: Die Suche liefert ein altes Dokument, der aktuelle Preis fehlt vollständig oder das Modell ignoriert eine vorhandene gültige Quelle. Diese Fälle verlangen unterschiedliche Korrekturen. Ein Training ohne Fehleranalyse vermischt Datenversorgung und Antwortverhalten.
Lege für jede fehlerhafte Antwort den Auftrag, die verfügbaren Quellen, die tatsächlich abgerufenen Inhalte und die Ausgabe nebeneinander. Fehlt die Information, muss zunächst die Informationsversorgung funktionieren. Ist sie vorhanden und wird trotzdem falsch verarbeitet, prüfe Prompt, Beispiele und Ausgabeformat. Erst ein verbleibender, wiederkehrender Fehler begründet einen Trainingsversuch.
Für wechselndes Unternehmenswissen ist eine Wissensanbindung mit RAG häufig der erste zu prüfende Ansatz. Das ist eine Auswahlregel, kein Ausschluss von Kombinationen. Ein trainiertes Modell kann zusätzlich aktuelle Quellen erhalten.
Was SFT leistet und was die Datenzahl bedeutet
Supervised Fine-Tuning verwendet vorgegebene Beispiele für Eingaben und gewünschte Antworten. Die OpenAI-Dokumentation zu SFT beschreibt dieses Verfahren und empfiehlt einen Start mit 50 hochwertigen Demonstrationen samt Evaluation. Sie nennt beobachtete Verbesserungen mit 50–100 Beispielen und eine technische Mindestmenge von zehn für das dort beschriebene Angebot. Eine allgemeine Grenze von 1.000 Beispielen folgt daraus nicht.
Diese Angaben gelten für den beschriebenen Kontext. Sie sind kein Zielwert für jedes Modell. Die notwendige Datenmenge hängt von Aufgabe, Ausgangsmodell, Vielfalt und Qualität der Beispiele ab. Vor einem Vorhaben müssen außerdem die aktuelle Verfügbarkeit und die Bedingungen des konkreten Trainingsangebots geprüft werden.
Ein gutes Trainingspaar legt die gewünschte Entscheidung offen. Bei einer Anfrage mit fehlendem Liefertermin besteht die richtige Antwort beispielsweise in einer Rückfrage. Ein besonders elegant formulierter erfundener Termin ist ein schlechtes Trainingsziel. Auch mehrere zulässige Antworten schließen SFT nicht aus; die Demonstrationen müssen die beabsichtigten Regeln konsistent zeigen.
Was GRPO anders macht
Group Relative Policy Optimization erzeugt mehrere Kandidaten zu einer Aufgabe und nutzt deren Bewertungen relativ zur Gruppe. Das Verfahren wird im DeepSeekMath-Forschungsbericht beschrieben. Die dort untersuchten mathematischen Aufgaben sind kein direkter Nachweis für die Bearbeitung von Kundenanfragen oder internen Dokumenten.
Für einen betrieblichen Versuch zählt deshalb zuerst die Bewertungsfunktion. Ein Prüfer, der lange Antworten bevorzugt, optimiert möglicherweise Ausführlichkeit statt Richtigkeit. Eine Funktion, die nur formal gültiges JSON belohnt, erkennt keine falschen Beträge. Die Belohnung muss die tatsächliche Aufgabe abbilden; unabhängige fachliche Tests bleiben zusätzlich erforderlich.
GRPO ist nicht gleichbedeutend mit menschlichem Feedback. Bewertungen können etwa aus überprüfbaren Ergebnissen oder einem Modell entstehen. Trainingsverfahren und Herkunft der Bewertung sind zwei getrennte Fragen. Auch ein hoher Reward beweist keine allgemein bessere Antwortqualität.
RULER korrekt einordnen
RULER bedeutet hier Relative Universal LLM-Elicited Rewards. Die ART-Dokumentation beschreibt eine allgemeine Reward-Funktion: Ein LLM bewertet mehrere Agentenverläufe relativ zueinander; diese Bewertungen dienen dem Training. Die Schnittstelle heißt dort ruler_score_group. Das Verfahren wurde von OpenPipe im Juli 2025 vorgestellt.
RULER ist damit weder die ausgeschriebene Bezeichnung für ein beliebiges regelbasiertes Evaluationsskript noch automatisch ein unabhängiger Abnahmetest. Ein selbst geschriebener Prompt mit einer Bewertungsrubrik bleibt eine eigene Prüfmethode. Die Unterscheidung ist wichtig, damit ein Beispiel nicht irrtümlich als Implementierung des veröffentlichten Verfahrens gilt.
Halte Reward und Abnahme getrennt. Der Trainingslauf darf seine Bewertung verbessern; der Abnahmetest muss zeigen, ob auch die fachlich relevanten Ergebnisse besser werden. Wenn beides denselben Modellrichter und dieselben Beispiele verwendet, bleibt die Aussagekraft begrenzt.
Ein eigener Vergleichsplan für eine Extraktionsaufgabe
Als fiktives Arbeitsbeispiel dient die Übernahme von Auftragsnummer, Menge und gewünschtem Lieferdatum. Der Testbestand enthält normale Dokumente, fehlende Felder, widersprüchliche Angaben und unbekannte Formate. Diese Fallklassen sind eine Empfehlung, keine veröffentlichte Benchmark-Verteilung.
| Variante | Veränderung | Vergleichsfrage |
|---|---|---|
| Ausgangslösung | Bestehender Prompt und freigegebene Quellen | Welche Fehler treten tatsächlich auf? |
| Prompt mit Beispielen | Relevante Demonstrationen im Kontext | Verschwindet der Fehler ohne Training? |
| SFT-Versuch | Trainierte Demonstrationen | Verbessert sich die Leistung auf unbekannten Fällen? |
| GRPO-Versuch | Relative Bewertung der Kandidaten | Verbessert sich die fachliche Abnahme zusätzlich? |
Verwende für den Vergleich dieselben Eingabefälle und dieselben Ausgaberegeln. Trenne Trainings-, Entwicklungs- und abschließenden Testbestand. Mehrere Dokumente aus demselben Vorgang gehören nicht unbemerkt in unterschiedliche Bestände: Sonst erkennt der Test möglicherweise einen bekannten Fall statt eine übertragbare Fähigkeit.
Bewerte nicht nur den Durchschnitt. Ein falsches Lieferdatum kann schwerer wiegen als ein anders gesetztes Leerzeichen. Lege kritische Fehler vor dem Vergleich fest. Berichte je Fallklasse, welche Felder korrekt, falsch oder ausdrücklich offen geblieben sind. Eine bewusst nicht beantwortete Frage ist bei fehlender Grundlage häufig das richtige Ergebnis.
Kosten, Betrieb und Freigabe
Die Rechnung umfasst Datenaufbereitung, fachliche Kennzeichnung, Training, Evaluation, Inferenz und spätere Pflege. Ein günstigerer Modellaufruf rechtfertigt keine teure Trainingspipeline, wenn das Volumen gering bleibt. Umgekehrt reicht eine teure Einrichtung allein nicht als Gegenargument, wenn ein belastbarer Betriebsvorteil im passenden Zeitraum nachgewiesen ist.
Erfasse die Kosten pro freigegebenem Ergebnis. Wiederholte Aufrufe und menschliche Korrekturen gehören in dieselbe Rechnung. Einen pauschalen Anteil des Trainingsbudgets für Evaluation gibt dieser Artikel nicht vor: Die Fehlerfolgen und der notwendige Testumfang bestimmen den Aufwand.
Vor der Freigabe braucht der Betrieb eine Modellversion, einen unveränderten Referenztest, einen Rückfall auf die vorherige Lösung und eine Zuständigkeit für neue Fehler. Ein neuer Fachbereich oder eine geänderte Dokumentenklasse ist Anlass für erneute Prüfung. Ein erfolgreicher Trainingslauf allein ist keine Betriebsfreigabe.
Welche Entscheidung am Ende steht
Bleibe bei der einfacheren Lösung, solange der aufwendigere Ansatz keinen belastbaren Vorteil liefert. Wenn SFT das Problem löst, ist GRPO kein Pflichtschritt. Wenn eine schlechte Quelle die Ursache ist, ersetzt kein Training ihre Korrektur. Und wenn die fachliche Qualität nach dem Training sinkt, zählt das reale Ergebnis stärker als der Reward-Verlauf.
Quellenstand: 22.10.2026. Die verlinkten Hersteller- und Forschungsquellen belegen die Verfahrensbeschreibungen. Vergleichsplan, Fallklassen und Freigabekriterien sind eigene Empfehlungen; es liegen hier keine eigenen Trainingsmessungen vor.
Weiterlesen
Passende Anleitungen und Artikel für die nächste Frage im Arbeitsablauf.
- KI für Unternehmen: Anwendungen, Auswahl und Einstieg im MittelstandGrundlagen
- LLM-Architektur für den Mittelstand: Der komplette Guide 2026Überblick
- Strukturierte Daten mit LLMs extrahieren: Quellenbezug, Prüfung und ÜbergabeVertiefung
- Code Generation in Enterprise — Sicherheit, Quality & IntegrationVertiefung
Was soll euer CRM besser abbilden?
Leads ohne Owner, unklare Deal-Phasen oder widersprüchliche Reports: Beschreibe einen konkreten Engpass. Im Erstgespräch klären wir den passenden Umfang.
HubSpot · Vertriebsprozesse · Pipeline-Reporting