Token-Optimierung: Wie du LLM-Kosten um 40% senkst

Ende Januar kommt die Rechnung: $47.000 für LLM-API-Calls. Dein CFO ruft an. "Wir geben mehr für KI-Tokens aus als für unser gesamtes Cloud-Hosting. Ist das normal?"

Die ehrliche Antwort: Ja, es ist normal. Und nein, es muss nicht so sein.

Das Team hatte in drei Monaten eine RAG-Pipeline, einen Sales-Chatbot und ein Reporting-Tool gebaut. Alles lief über GPT-4o. Jeder Call schickte den vollen System Prompt, zehn RAG-Chunks und den gesamten Konversationsverlauf mit. Niemand hatte max_tokens gesetzt. Niemand hatte sich gefragt, ob ein $0.15-Modell die gleiche Klassifikation genauso gut erledigen kann wie ein $2.50-Modell.

Nach vier Wochen gezielter Optimierung? $12.700/Monat. Gleiche Features, gleiche Qualität. 73% weniger Kosten.

Das Token-Problem: Warum LLM-Kosten explodieren

LLM-APIs rechnen pro Token ab. Ein Token entspricht ca. 4 Zeichen oder ¾ eines englischen Wortes. Das klingt harmlos — bis du die Zahlen hochrechnest.

Drei Kostentreiber, die fast jedes Team unterschätzt: Erstens kosten Output-Tokens 3–10x mehr als Input-Tokens. Ein Modell, das dir drei Absätze liefert wenn ein Satz gereicht hätte, ist ein Kostenmultiplikator. Zweitens multiplizieren Agentic Workflows alles — wenn dein Agent für eine User-Anfrage 10–30 LLM-Calls orchestriert, wird aus einem $0.01-Request schnell ein $0.30-Request. Drittens verführen große Context Windows: 128K Tokens? Verlockend, alles reinzupacken. Aber du zahlst für jedes Token — auch für die 80%, die das Modell ignoriert.

Die Token-Kosten-Landschaft 2026

Die Wahl des Modells ist bereits die erste Optimierung. GPT-4o kostet $2.50/$10.00 per 1M Input/Output-Tokens, GPT-4o mini nur $0.15/$0.60. Claude 3.5 Haiku liegt bei $0.80/$4.00. DeepSeek V3 bei $0.27/$1.10.

Kerninsight: Gecachte Tokens kosten bei Anthropic nur 10% des Normalpreises (Claude 3.5 Sonnet: $0.30/1M gecacht vs. $3.00/1M normal). Das ist kein Rundungsfehler — das ist der größte einzelne Kostenhebel, den die meisten Teams nicht nutzen.

Die 6 Optimierungs-Strategien im Detail

Strategie 1: Prompt Engineering — Weniger Tokens, gleiche Qualität

Einsparung: 20–50% der Input-Tokens durch systematische Prompt-Kompression. Die meisten Prompts lesen sich wie eine höfliche E-Mail an den Chef: viel Kontext, viele Floskeln, dreimal dasselbe anders formuliert. LLMs brauchen das nicht. Sie brauchen Präzision.

Prompt Compression ist das Low-Hanging Fruit: 63% weniger Tokens durch Eliminierung von Redundanz — nicht durch Weglassen von Information. Structured Output statt Freitext spart 30–60% auf den teuersten Output-Tokens: Sage dem Modell, es soll in JSON antworten statt in Prosa. System Prompt Engineering lohnt sich besonders, weil dein System Prompt bei jedem einzelnen Request mitgeschickt wird.

Strategie 2: Prompt Caching — Der größte Einzelhebel

Einsparung: 50–90% auf wiederkehrende Prompt-Prefixe.

Stell dir vor, du gehst jeden Morgen in dasselbe Café und bestellst denselben Kaffee. Aber statt dich zu erkennen, fragt der Barista jedes Mal nach deinem Namen, deiner Bestellung, deinen Allergien. Genau so arbeiten die meisten LLM-Systeme: Bei jedem Request wird der komplette Kontext neu verarbeitet — auch wenn 95% identisch sind.

Der Schlüssel zur hohen Cache-Hit-Rate: Strukturiere Prompts so, dass der statische Teil immer am Anfang steht und der variable Teil immer am Ende. Klingt trivial — aber die meisten Codebases mischen beides wild durcheinander.

Semantic Caching geht noch weiter: Es speichert die vollständige Response und liefert sie bei ähnlichen (nicht identischen) Queries aus — ganz ohne LLM-Call. Der optimale Similarity Threshold: 0.85. Darunter zu viele falsche Matches, darüber trifft der Cache kaum.

Strategie 3: Batch Processing — 50% Rabatt von der API

Einsparung: 50% auf API-Kosten durch asynchrone Batch-Verarbeitung.

Nicht jeder LLM-Call muss in Echtzeit passieren. Dein nächtliches Lead-Scoring? Dein wöchentlicher Content-Tagging-Lauf? Deine Evaluation-Suite? All das kann warten — und wenn es wartet, zahlst du die Hälfte. OpenAI, Anthropic und Google bieten alle 50% Rabatt für Batch-Requests mit 24h SLA.

Strategie 4: Model Routing — Das richtige Modell für den richtigen Task

Einsparung: 40–85% durch intelligentes Routing einfacher Aufgaben an günstigere Modelle.

70% deiner LLM-Calls brauchen kein GPT-4o. Sentiment-Klassifikation, Daten-Extraktion aus strukturierten Texten, Formatierung — das kann ein Modell, das 17x günstiger ist, genauso gut.

Routing-Logik: Einfache Tasks (70%) → GPT-4o mini ($0.15/1M), mittlere Tasks (20%) → GPT-4o ($2.50/1M), komplexe Tasks (10%) → Claude Opus ($15.00/1M). Ergebnis: 87% Kosteneinsparung ohne Qualitätsverlust.

Strategie 5: Context Compression — Mehr Relevanz, weniger Tokens

Einsparung: 50–80% der Kontext-Tokens durch intelligente Kompression.

RAG-Chunk-Optimierung ist der größte Hebel: Von Top-10 Chunks × 500 Tokens = 5.000 Tokens auf Top-3 Chunks × 300 Tokens = 900 Tokens. 82% Einsparung bei gleichbleibender Antwortqualität — der Schlüssel ist bessere Retrieval-Qualität (Re-Ranking), nicht mehr Quantität.

Conversation Summarization für lange Chat-Sessions: Ab einem Schwellwert den bisherigen Verlauf zusammenfassen statt komplett mitzuschicken. Tool-Output-Filtering für Agentic Workflows: Filtere vor dem LLM-Call, nicht danach — oft reichen 50 statt 2.000 Tokens.

Strategie 6: Token Budgets — Governance auf Token-Ebene

Einsparung: 15–30% durch systematisches Budget-Management.

Ohne Token-Budgets ist LLM-Nutzung wie eine Kreditkarte ohne Limit. Governance-Maßnahmen die sofort wirken: max_tokens pro Call setzen, Token-Alerts bei >20% Abweichung vom Durchschnitt, Dashboard für Token-Verbrauch pro Feature/Team/Endpoint, monatliche Token-Audits.

Der Multiplikator-Effekt

Die Strategien wirken multiplikativ, nicht additiv. Von $10.000/Monat Ausgangsbasis: Prompt Engineering (-30%) → $7.000, Prompt Caching (-60%) → $2.800, Model Routing (-50%) → $1.400, Context Compression (-40%) → $840, Batch Processing (-30%) → $588, Token Budgets (-15%) → $500.

Realistisch erreichbar sind 70–90% Gesamteinsparung.

Anti-Patterns: Was du vermeiden solltest

Blindes Downgrading ohne Qualitätsmessung führt zu Kundenbeschwerden und Rückwechsel — Netto-Einsparung null. Over-Caching mit zu niedrigem Similarity Threshold (< 0.80) liefert falsche Antworten. Kontext-Starvation durch zu aggressive Kompression macht Antworten vage. Output-Token-Blindheit ist der häufigste Fehler: Du optimierst stundenlang den Input und ignorierst, dass das Modell 500-Wort-Antworten generiert wo 50 Wörter reichten. Und: Einmalige Optimierung reicht nicht — Token-Preise und Modelle ändern sich alle 3–6 Monate.

Implementierungs-Roadmap

Phase 1 (Woche 1–2, Quick Wins): max_tokens auf allen Calls setzen, Prompt-Audit der Top-10 teuersten Calls, Structured Output für Extraction/Classification, Token-Monitoring einrichten.

Phase 2 (Woche 2–4): Prompt-Struktur optimieren (statische Teile voran), Provider-natives Prompt Caching aktivieren, Model Routing einführen, Batch Processing für Offline-Pipelines.

Phase 3 (Woche 4–8): Semantic Caching evaluieren, RAG-Pipeline mit Re-Ranking optimieren, Conversation Summarization, Token-Budget-Framework pro Endpoint.

Fazit

Token-Optimierung ist kein einmaliges Projekt, sondern ein kontinuierlicher Engineering-Prozess. Die Modelle werden günstiger, aber die Nutzung wächst schneller. Wer jetzt die Infrastruktur für Caching, Routing und Monitoring aufbaut, hat einen strukturellen Kostenvorteil. 80% der Einsparung kommen aus Caching und Routing — starte dort.