Souveränes Multi-LLM-Routing
Nordshop Insights · Multi-LLM Routing
Eine zukunftsfähige KI-Architektur basiert auf dem Prinzip des Multi-LLM-Routings (Gartner 2026).
Stell Sie sich vor, ein Unternehmen hätte nur ein einziges KI-Modell:
Das funktioniert – ist aber architektonisch ungefähr so, als würdest Du jeden Transport im Unternehmen mit einem 40-Tonnen-Lkw erledigen. Egal, ob Du eine Palette, einen Brief oder eine Maschine transportieren willst.
Beim Multi-LLM-Routing wird deshalb eine intelligente Zwischenschicht eingebaut:
Der entscheidende Punkt lautet also:
Nicht der Mensch entscheidet, welches KI-Modell verwendet wird. Die Infrastruktur entscheidet automatisch.
Ein Beispiel aus einem Maschinenbauunternehmen macht das deutlich.
Ein Mitarbeiter schreibt:
„Fasse diese E-Mail in drei Stichpunkten zusammen.“
Der Router erkennt: sprachlich einfache Aufgabe, keine komplexe Schlussfolgerung erforderlich, eventuell vertrauliche Unternehmensdaten.
Dafür braucht man kein Frontier-Modell.
Jetzt fragt ein Mitarbeiter:
„Welche Ersatzteilnummer gehört zur Maschine XL-6020 mit Seriennummer 81572?“
Das ist bereits etwas anderes. Hier sollte das Sprachmodell möglichst wenig „wissen“ oder raten. Stattdessen:
Das LLM formuliert lediglich die Antwort. Die eigentliche Information stammt aus den Unternehmenssystemen.
Nun kommt eine dritte Anfrage:
„Analysiere diese 180 Seiten Ausschreibungsunterlagen und entwickle eine technische und wirtschaftliche Angebotsstrategie.“
Jetzt erkennt der Router:
lange Dokumente + komplexes Reasoning + wirtschaftliche Bewertung + mehrstufige Aufgabe
lange Dokumente + komplexes Reasoning + wirtschaftliche Bewertung + mehrstufige Aufgabe
Also wird ein leistungsfähigeres Reasoning-Modell eingesetzt.
Damit entsteht ein wichtiges Prinzip:
Smallest model that can reliably solve the task.
Nicht:
Best available model for every task.
Das ist inzwischen auch aus Kostensicht relevant. Gartner beschreibt 2026 ausdrücklich, dass Unternehmen multimodale beziehungsweise multimodellbasierte Ökosysteme und intelligentes Routing benötigen, weil ein universelles wirtschaftliches „One-size-fits-all“-Modell nicht absehbar ist.
Was entscheidet der Router eigentlich?
Er könnte beispielsweise sechs Faktoren bewerten:
Faktor
Beispiel:
Komplexität einfache Extraktion oder komplexes Reasoning? Datenschutz öffentlich, intern, vertraulich, streng vertraulich Fachlichkeit Allgemeinwissen oder spezielles Engineering? Risiko Marketingtext oder sicherheitskritische Entscheidung? Kosten (0,001 € oder 1 € pro Vorgang?) Latenz (Antwort in 100 ms oder komplexe Analyse in 30 Sekunden?)
Daraus könnte beispielsweise ein Routing-Score entstehen.
ANFRAGE:
"Übersetze diesen Absatz ins Englische."
Komplexität 1/10 Risiko 1/10 Datenschutz 3/10 Reasoning 1/10
→ lokales 8B-Modell
Eine andere Anfrage:
"Welche Maschine kann Auftrag 4711 unter
Berücksichtigung von Material, Toleranzen, Werkzeugen und Liefertermin produzieren?"
Komplexität 8/10 Risiko 8/10 Datenschutz 7/10 Reasoning 9/10 → Wissensgraph → Regel-Engine → leistungsfähiges Reasoning-Modell → Verifikation
Und hier wird es für Eure Architektur besonders interessant.
Denn Multi-LLM-Routing allein reicht nicht.
Eine wirklich gute Enterprise-Architektur könnte so aussehen:
Damit bekommen wir gleich mehrere Vorteile.
Erstens Kostenkontrolle. Wenn beispielsweise 80 Prozent der Unternehmensanfragen Routineaufgaben sind, müssen sie nicht über ein teures Frontier-Modell laufen.
Ein stark vereinfachtes Rechenbeispiel:
1.000.000 KI-Anfragen pro Monat
Ohne Routing:
1.000.000 × High-End-Modell
Mit Routing:
600.000 → lokales kleines Modell
250.000 → günstiges Cloud-Modell
100.000 → leistungsfähiges Modell
50.000 → Frontier Reasoning
Das kann die Gesamtkosten massiv verändern.
Durch intelligentes Multi-LLM-Routing können erhebliche Kostenreduktionen erzielt werden, da Routineaufgaben gezielt auf kleinere und kostengünstigere Modelle verlagert werden, während leistungsfähige Frontier-Modelle nur für komplexe Aufgaben eingesetzt werden. Gartner sieht intelligentes Model Routing und Small Language Models als zentrale Instrumente zur Kontrolle steigender KI-Inferenzkosten.
Der zweite große Vorteil ist digitale Souveränität.
Nehmen wir eine Personalakte:
"Bewerte die Krankheitszeiten dieses Mitarbeiters."
Der Router sieht:
personenbezogene Daten + hohe Sensibilität
Dann könnte eine Policy festlegen:
EXTERNAL_AI = FALSE = es darf kein externes Modell angesprochen werden.
Damit wird Datensouveränität technisch umgesetzt und nicht nur organisatorisch versprochen.
Der Router kann sogar Anbieterabhängigkeit verhindern.
Heute könnte er beispielsweise sagen:
Kommt morgen ein besseres Modell auf den Markt, tauscht man lediglich eine Route aus:
Modell C -> Modell E
Die Unternehmensanwendungen müssen überhaupt nicht verändert werden. Das ist ein ganz wesentlicher Architekturvorteil:
Das Unternehmen bindet sich nicht an ein KI-Modell. Es baut eine eigene AI Control Layer.
Der Router ist nicht einfach nur ein kleines LLM. Er ist eher eine Policy- und Decision-Engine, die teilweise sogar völlig deterministisch arbeiten sollte.
Zum Beispiel:
IF dataclassification = "secret" -> THEN externalmodels = forbidden IF task = "translation" AND sensitivity < 3 -> THEN model = localsmallmodel IF reasoningscore > 8 -> THEN model = frontierreasoning_model
Das ist wesentlich robuster als: „Ein LLM entscheidet, welches andere LLM benutzt wird.“
Gartner formuliert 2026 die dahinterstehende Entwicklung ähnlich: Model Routing entwickelt sich von einer technischen Orchestrierungsfunktion zu einer „workflow decision-control layer“, die bestimmt, welches Modell welchen Workflow unter welchen Kosten- und Policybedingungen bearbeiten darf.