Portkey AI Gateway: Einheitliches LLM-Routing

1. Projektübersicht

Portkey AI Gateway ist ein Open-Source-, blitzschnelles KI-Gateway, das es Entwicklern ermöglicht, Anfragen über eine einzige, einheitliche API an über 1.600 LLMs von mehr als 50 Anbietern weiterzuleiten – und dabei automatische Zuverlässigkeit, Sicherheits-Schutzmechanismen und Kostenkontrollen hinzufügt, ohne den Anwendungscode zu ändern.

2. Hintergrund & Positionierung

Portkey wurde entwickelt, um ein Problem zu lösen, auf das jedes Team stößt, das mit LLMs arbeitet: Die APIs der Anbieter sind inkonsistent, einzelne Anbieter fallen aus oder begrenzen die Anfragen unvorhersehbar, und es gibt keinen zentralen Ort, um Sicherheits-, Budget- und Compliance-Richtlinien über Dutzende von Modellen hinweg durchzusetzen. Die Kernmission des Projekts ist es, den Wechsel, die Kombination oder den Rückgriff zwischen LLM-Anbietern so einfach zu machen wie das Ändern eines Headers – mit produktionsreifer Zuverlässigkeit und Sicherheit, die von Anfang an integriert und nicht nachträglich hinzugefügt werden. In der Produktion verarbeitet das Gateway bereits über 10 Milliarden Tokens pro Tag.

Was es von einem einfachen API-Proxy oder einem SDK-Wrapper eines einzelnen Anbieters unterscheidet:

Universelle API-Oberfläche – eine OpenAI-kompatible Schnittstelle vor über 1.600 Modellen von mehr als 50 Anbietern, sodass der Anbieterwechsel eine Konfigurationsänderung ist, keine Neuprogrammierung.
Integrierte Zuverlässigkeitstechnik – automatische Fallbacks, Wiederholungsversuche mit exponentiellem Backoff, Lastverteilung und Timeouts sind natives Gateway-Verhalten, nicht etwas, das jedes Anwendungsteam neu implementieren muss.
Schutzmechanismen als erstklassige Bürger – über 50 vorgefertigte Eingabe-/Ausgabe-Schutzmechanismen laufen inline im Anforderungspfad, anstatt ein externer, nachträglich hinzugefügter Moderationsdienst zu sein.
Bereitstellungsflexibilität – dasselbe Gateway läuft als verwalteter Cloud-Dienst, als selbst gehostete Docker-/Node.js-Instanz oder als Edge-Bereitstellung auf Cloudflare Workers.

3. Funktionskategorien

🔀 Zuverlässiges Routing

Sorgt dafür, dass Anfragen auch dann erfolgreich sind, wenn einzelne Anbieter ausfallen.

Automatischer Fallback über Anbieter und Modelle hinweg
Wiederholungsversuche mit exponentiellem Backoff (bis zu 5 Versuche)
Lastverteilung über mehrere Anbieter und API-Schlüssel
Verwaltung von Anfrage-Timeouts
Unterstützung für multimodale und Echtzeit-APIs (Websocket)
Zweck: Anbieterausfälle, Ratenbegrenzungen und Latenzspitzen absorbieren, ohne dass die aufrufende Anwendung es bemerkt.

🛡️ Sicherheit & Schutzmechanismen

Inline-Prüfungen und Zugriffskontrolle rund um jede Anfrage.

Über 40 vorgefertigte Schutzmechanismen für Eingabe- und Ausgabevalidierung
Rollenbasierte Zugriffskontrolle mit granularen Berechtigungen
Verwaltung virtueller Schlüssel für sichere Handhabung von Anmeldeinformationen
Compliance-Kontrollen gemäß SOC2, HIPAA, GDPR und CCPA
Zweck: Inhalts-, Sicherheits- und Zugriffsrichtlinien zentral durchsetzen, anstatt pro Anwendung.

💰 Kostenmanagement

Transparenz und Einsparungen bei LLM-Ausgaben.

Einfaches und semantisches Antwort-Caching
Nutzungsanalysen und Überwachung pro Anfrage
Kostenoptimierung und -vergleich über Anbieter hinweg
Zweck: Redundante API-Ausgaben reduzieren und Teams eine Echtzeitansicht darüber geben, was die LLM-Nutzung tatsächlich kostet.

🤝 Zusammenarbeit & Integrationen

Verbindet das Gateway mit den Tools, mit denen Teams bereits Agents erstellen.

Integrationen in Agent-Frameworks: Autogen, CrewAI, LangChain, LlamaIndex, Phidata, Control Flow
Verwaltung von Prompt-Vorlagen
MCP-Gateway für die Verwaltung von Model-Context-Protocol-Servern
Zweck: Teams können Portkey als Routing-Ebene standardisieren, unabhängig davon, welches Agent-Framework oder Protokoll sie darüber verwenden.

4. Wichtigste Highlights

Über 1.600 Modelle hinter einer API – Anbieter per Konfiguration wechseln oder kombinieren, nicht per Codeänderung.
Über 10 Mrd. Tokens/Tag in der Produktion – die Routing- und Zuverlässigkeitslogik ist in echtem Produktionsmaßstab bewährt.
Über 50 Inline-Schutzmechanismen – Sicherheits- und Compliance-Prüfungen laufen im Anforderungspfad, nicht als nachträglicher Gedanke.
Integration in unter 2 Minuten – entwickelt, damit ein neuer Anbieter oder ein neues Modell fast sofort angebunden werden kann.
Mehrere Bereitstellungsmodi – verwaltete Cloud, selbst gehostetes Docker/Node.js oder Cloudflare Workers an der Edge.
MCP-Gateway-Unterstützung – erstklassige Verwaltung von Model-Context-Protocol-Servern neben dem traditionellen LLM-Routing.

5. Anwendungsfälle nach Rolle

Allgemeine Entwickler – Bestehenden Code, der auf dem OpenAI-SDK basiert, auf den OpenAI-kompatiblen Endpunkt des Gateways ausrichten, um sofort Fallback, Wiederholungsversuche und Caching mit minimalen Codeänderungen zu erhalten.

DevOps/SRE – Das Gateway über Docker oder Cloudflare Workers bereitstellen, um eine widerstandsfähige Routing-Ebene vor dem LLM-Datenverkehr hinzuzufügen, wobei Lastverteilung und automatisches Failover Bereitschaftsstörungen durch Anbieterausfälle reduzieren.

Sicherheitsingenieure – Die über 40 Schutzmechanismen, die rollenbasierte Zugriffskontrolle und die Verwaltung virtueller Schlüssel konfigurieren, um Eingabe-/Ausgaberichtlinien und SOC2/HIPAA/GDPR/CCPA-konforme Kontrollen zentral für den gesamten LLM-Datenverkehr durchzusetzen.

Daten-/Forschungswissenschaftler – Semantisches Caching und Nutzungsanalysen verwenden, um Experimentkosten zu kontrollieren und gleichzeitig Ausgaben über viele Anbieter/Modelle über dieselbe Schnittstelle zu vergleichen.

Projektmanager – Integrierte Nutzungsanalysen und Kostenüberwachungs-Dashboards verwenden, um LLM-Ausgaben und Zuverlässigkeit über Teams hinweg zu verfolgen, ohne jede Integration einzeln anfassen zu müssen.

6. Erste Schritte

Finde, was du brauchst – Durchstöbere die vollständige Dokumentation für Anbieterleitfäden, Schutzmechanismen und Framework-Integrationen:

https://portkey.ai/docs

Installieren und ausführen – Der schnellste Weg, das Gateway lokal auszuprobieren, ist über npx (erfordert Node.js):

npx @portkey-ai/gateway

Dies startet das Gateway unter http://localhost:8787/v1 mit einer Konsole unter http://localhost:8787/public/. Docker, Cloudflare Workers, Replit und verwaltete Portkey-Cloud-Bereitstellung sind ebenfalls verfügbar.

Mitwirken – Klone das Repository, prüfe Issues mit dem Label „good first issue" und erstelle einen Pull-Request:

git clone https://github.com/Portkey-AI/gateway
npm install
npm run build

Das Projekt veranstaltet außerdem wöchentliche KI-Engineering-Stunden (freitags, 8 Uhr PT), bei denen Mitwirkende direkten Austausch erhalten.

7. Projektstruktur

gateway/
├── src/          # Kernquellcode des Gateways (TypeScript)
├── plugins/      # Schutzmechanismus- und Integrations-Plugins
├── docs/         # Dokumentationsquelle
├── cookbook/     # Nutzungsbeispiele und Tutorials
├── tests/        # Testsuite
├── patches/      # Abhängigkeits-Patches
├── Dockerfile           # Container-Build-Definition
├── docker-compose.yaml  # Multi-Container-Orchestrierung
└── wrangler.toml         # Cloudflare-Workers-Bereitstellungskonfiguration

Wichtige Einstiegspunkte: src/ enthält die Anforderungs-Routing-, Fallback- und Wiederholungslogik, die den Kern des Gateways bildet; plugins/ ist der Ort, an dem Schutzmechanismen und Drittanbieter-Integrationen leben; cookbook/ ist der beste Ausgangspunkt für kopierbare Beispiele für bestimmte Anbieter oder Frameworks.

8. Verwandtes Ökosystem

Upstream-Abhängigkeiten: Über 50 LLM-Anbieter, darunter OpenAI, Azure OpenAI, Google Gemini, Anthropic, Cohere, Mistral und Ollama; das Model Context Protocol (MCP) für Tool-/Server-Integration.
Bereitstellungsplattformen: Portkey Cloud (verwaltet), Docker, Node.js, Cloudflare Workers, Replit.
Komplementäre Tools: Agent-Frameworks Autogen, CrewAI, LangChain, LlamaIndex, Phidata und Control Flow; Client-SDKs für Python, JavaScript und REST, plus Drop-in-Kompatibilität mit bestehenden OpenAI-SDKs.

9. Lizenz

Portkey AI Gateway wird unter der MIT-Lizenz veröffentlicht.

✅ Die Software für persönliche oder kommerzielle Zwecke verwenden, modifizieren und verbreiten
✅ Abgeleitete Werke erstellen und verbreiten, einschließlich proprietärer Produkte
✅ In der Produktion ohne Zahlung von Lizenzgebühren verwenden
❌ Die Autoren oder Mitwirkenden für Schäden haftbar machen, die aus der Nutzung der Software entstehen
❌ Den Namen oder die Marken von Portkey verwenden, um eine offizielle Unterstützung ohne Erlaubnis zu implizieren
ℹ️ Den ursprünglichen Urheberrechtshinweis und den Lizenztext in weitergegebenen Kopien beibehalten

10. FAQ

F: Kann ich meinen bestehenden OpenAI-SDK-Code mit Portkey verwenden?
A: Ja. Das Gateway stellt eine OpenAI-kompatible API bereit, sodass bestehende OpenAI-SDK-Aufrufe mit minimalen Änderungen auf den Gateway-Endpunkt ausgerichtet werden können.

F: Wie viele Anbieter und Modelle werden unterstützt?
A: Über 1.600 Modelle von mehr als 50 Anbietern, darunter OpenAI, Azure OpenAI, Google Gemini, Anthropic, Cohere, Mistral und Ollama.

F: Wie kann ich es am schnellsten lokal ausprobieren?
A: npx @portkey-ai/gateway, das das Gateway unter http://localhost:8787/v1 mit einer lokalen Konsole startet.

F: Behandelt es Anbieterausfälle automatisch?
A: Ja. Integrierter automatischer Fallback, Wiederholungsversuche mit exponentiellem Backoff und Lastverteilung sorgen dafür, dass Anfragen auch dann erfolgreich sind, wenn ein Anbieter ausfällt oder die Raten begrenzt.

F: Kann es auch MCP-Server (Model Context Protocol) verwalten?
A: Ja, über die MCP-Gateway-Funktion, die Model-Context-Protocol-Server neben dem Standard-LLM-Routing verwaltet.

11. Schnellzugriff

Repository: https://github.com/Portkey-AI/gateway
Offizielle Dokumentation: https://portkey.ai/docs
Mitwirkungsleitfaden: https://github.com/Portkey-AI/gateway (siehe CONTRIBUTING-Referenzen und „good first issue"-Labels)
Community: Discord und Twitter (@PortkeyAI), verlinkt im README des Repositorys

12. Zusammenfassung

Portkey AI Gateway bietet Teams eine einzige, produktionserprobte API vor über 1.600 LLMs und übernimmt Zuverlässigkeits-, Sicherheits- und Kostenbedenken, die sonst von jeder Anwendung neu aufgebaut werden müssten. Es eignet sich am besten für Entwickler und Plattform-/DevOps-Teams, die zuverlässiges Multi-Anbieter-LLM-Routing benötigen, sowie für sicherheitsbewusste Organisationen, die zentralisierte Schutzmechanismen und Compliance-Kontrollen wünschen – alles unter einer freizügigen MIT-Lizenz.