Portkey AI Gateway：統一 LLM 路由

1. 專案概覽

Portkey AI Gateway 是一個開源、極速的 AI 閘道，讓開發者可以透過單一統一 API 將請求路由至 50 多個供應商的 1,600 多個 LLM，無需修改應用程式程式碼，即可加入自動可靠性、安全防護與成本控制。

2. 背景與定位

Portkey 的誕生是為了解決每個基於 LLM 建置的團隊最終都會遇到的問題：供應商 API 不一致、個別供應商可能無預警故障或限制速率，而且沒有一個統一的地方可以在數十種模型之間執行安全、預算與合規政策。本專案的核心使命是讓 LLM 供應商之間的切換、組合或備援，變得像變更一個標頭一樣簡單——並內建生產級可靠性與安全性，而非事後補救。在生產環境中，此閘道每天已處理超過 100 億個 token。

它與單純的 API 代理或單一供應商 SDK 包裝器的不同之處在於：

通用 API 表面 — 在 50 多個供應商的 1,600 多個模型前提供一個 OpenAI 相容介面，因此切換供應商只是變更設定，而非重新撰寫。
內建可靠性工程 — 自動備援、指數退避重試、負載平衡與逾時是閘道的原生行為，而非每個應用程式團隊都必須自行重新實作的功能。
防護措施為一級公民 — 50 多個預先建置的輸入/輸出防護措施在請求路徑中內聯執行，而非外部的附加審核服務。
部署彈性 — 同一個閘道可作為受管雲端服務、自架 Docker/Node.js 實例，或 Cloudflare Workers 上的邊緣部署執行。

3. 功能類別

🔀 可靠路由

即使個別供應商故障，也能確保持續成功處理請求。

跨供應商與模型的自動備援
指數退避重試（最多 5 次）
跨多個供應商與 API 金鑰的負載平衡
請求逾時管理
多模態與 Realtime API（WebSocket）支援
目的：吸收供應商中斷、速率限制與延遲尖峰，而不讓呼叫端應用程式察覺。

🛡️ 安全與防護措施

每個請求的內聯檢查與存取控制。

40 多個預先建置的輸入與輸出驗證防護措施
具備精細權限的角色型存取控制
用於安全憑證處理的虛擬金鑰管理
符合 SOC2、HIPAA、GDPR 與 CCPA 的合規控制
目的：集中執行內容、安全與存取政策，而非逐應用程式執行。

💰 成本管理

LLM 支出的可視性與節省。

簡單與語意回應快取
使用分析與每請求監控
跨供應商成本最佳化與比較
目的：減少重複的 API 支出，並讓團隊即時了解 LLM 使用的實際成本。

🤝 協作與整合

將閘道連接到團隊用於建置代理程式的工具。

代理框架整合：Autogen、CrewAI、LangChain、LlamaIndex、Phidata、Control Flow
提示詞模板管理
用於管理 Model Context Protocol 伺服器的 MCP Gateway
目的：無論團隊在何種代理框架或協定上建置，都能標準化使用 Portkey 作為路由層。

4. 重點特色

一個 API 背後有 1,600 多個模型 — 透過設定而非程式碼變更來切換或組合供應商。
生產環境每天處理 100 億+ token — 路由與可靠性邏輯已在大規模真實生產環境中驗證。
50 多個內聯防護措施 — 安全與合規檢查在請求路徑中執行，而非事後才想到。
不到 2 分鐘即可整合 — 設計上讓新供應商或模型幾乎可以立即接入。
多種部署模式 — 受管雲端、自架 Docker/Node.js，或 Cloudflare Workers 邊緣部署。
支援 MCP Gateway — 與傳統 LLM 路由並行，提供一流的 Model Context Protocol 伺服器管理。

5. 依角色區分的使用案例

一般開發者 — 將現有的 OpenAI SDK 程式碼指向閘道的 OpenAI 相容端點，即可在極少的程式碼變更下立即獲得備援、重試與快取功能。

DevOps/SRE — 透過 Docker 或 Cloudflare Workers 部署閘道，在 LLM 流量前增加一個具韌性的路由層，負載平衡與自動故障轉移可減少因供應商中斷而導致的待命事件。

安全工程師 — 設定 40 多個防護措施、角色型存取控制與虛擬金鑰管理，以集中執行所有 LLM 流量的輸入/輸出政策以及符合 SOC2/HIPAA/GDPR/CCPA 的控制。

資料/研究科學家 — 使用語意快取與使用分析來控制實驗成本，同時透過相同介面比較多個供應商/模型的輸出。

專案經理 — 使用內建的使用分析與成本監控儀表板，跨團隊追蹤 LLM 支出與可靠性，無需逐一處理每個整合。

6. 快速入門

尋找所需內容 — 瀏覽完整文件以取得供應商指南、防護措施與框架整合：

https://portkey.ai/docs

安裝與執行 — 在本機嘗試閘道最快的方式是透過 npx（需要 Node.js）：

npx @portkey-ai/gateway

這會在 http://localhost:8787/v1 啟動閘道，並在 http://localhost:8787/public/ 提供主控台。也提供 Docker、Cloudflare Workers、Replit 與受管的 Portkey Cloud 部署。

貢獻 — 複製儲存庫、查看標記為「good first issue」的議題，並開啟 pull request：

git clone https://github.com/Portkey-AI/gateway
npm install
npm run build

此專案也每週舉辦 AI Engineering Hours（週五上午 8 點太平洋時間），讓貢獻者可以直接參與。

7. 專案結構

gateway/
├── src/          # 核心閘道原始碼（TypeScript）
├── plugins/      # 防護措施與整合外掛
├── docs/         # 文件來源
├── cookbook/     # 使用範例與教學
├── tests/        # 測試套件
├── patches/      # 依賴修補
├── Dockerfile           # 容器建置定義
├── docker-compose.yaml  # 多容器編排
└── wrangler.toml         # Cloudflare Workers 部署設定

主要進入點：src/ 包含構成閘道核心的請求路由、備援與重試邏輯；plugins/ 是防護措施與第三方整合的所在位置；cookbook/ 是尋找針對特定供應商或框架的可複製貼上範例的最佳起點。

8. 相關生態系

上游依賴：50 多個 LLM 供應商，包括 OpenAI、Azure OpenAI、Google Gemini、Anthropic、Cohere、Mistral 與 Ollama；用於工具/伺服器整合的 Model Context Protocol（MCP）。
部署平台：Portkey Cloud（受管）、Docker、Node.js、Cloudflare Workers、Replit。
互補工具：代理框架 Autogen、CrewAI、LangChain、LlamaIndex、Phidata 與 Control Flow；Python、JavaScript 與 REST 的用戶端 SDK，以及與現有 OpenAI SDK 的即插即用相容性。

9. 授權

Portkey AI Gateway 以 MIT License 釋出。

✅ 可將軟體用於個人或商業目的之使用、修改與散布
✅ 可建立與散布衍生作品，包括專有產品
✅ 可在生產環境中使用，無需支付授權費
❌ 作者或貢獻者不對因使用軟體所造成的損害負責
❌ 未經許可，不得使用 Portkey 名稱或商標暗示官方背書
ℹ️ 在再散布的副本中保留原始版權聲明與授權文字

10. 常見問題

問：我可以將現有的 OpenAI SDK 程式碼與 Portkey 搭配使用嗎？
答：可以。閘道提供 OpenAI 相容 API，因此現有的 OpenAI SDK 呼叫可以透過極少的變更指向閘道端點。

問：它支援多少供應商與模型？
答：涵蓋 50 多個供應商的 1,600 多個模型，包括 OpenAI、Azure OpenAI、Google Gemini、Anthropic、Cohere、Mistral 與 Ollama。

問：在本機嘗試最快的方式是什麼？
答：執行 npx @portkey-ai/gateway，這會在 http://localhost:8787/v1 啟動閘道並提供本機主控台。

問：它會自動處理供應商中斷嗎？
答：會。內建的自動備援、指數退避重試與負載平衡，可在供應商故障或限制速率時確保持續成功處理請求。

問：它也能管理 MCP（Model Context Protocol）伺服器嗎？
答：可以，透過 MCP Gateway 功能，它可以在標準 LLM 路由之外管理 Model Context Protocol 伺服器。

11. 快速連結

儲存庫：https://github.com/Portkey-AI/gateway
官方文件：https://portkey.ai/docs
貢獻指南：https://github.com/Portkey-AI/gateway（請參閱 CONTRIBUTING 參考與「good first issue」標籤）
社群：儲存庫 README 中連結的 Discord 與 Twitter（@PortkeyAI）

12. 總結

Portkey AI Gateway 為團隊提供一個單一、經過生產驗證的 API，位於 1,600 多個 LLM 之前，處理了否則每個應用程式都必須自行重建的可靠性、安全性與成本問題。它最適合需要可靠多供應商 LLM 路由的開發者與平台/DevOps 團隊，以及希望集中化防護措施與合規控制的安全意識組織——而且全部採用寬鬆的 MIT 授權。