Portkey AI Gateway：统一LLM路由

1. 项目概述

Portkey AI Gateway 是一个开源、极速的AI网关，让开发者通过单一统一API将请求路由到50多家提供商的1600多个LLM，在不修改应用代码的情况下自动获得可靠性、安全护栏和成本控制。

2. 背景与定位

Portkey 的诞生是为了解决每个基于LLM构建的团队最终都会遇到的问题：提供商API不一致、单个提供商可能意外宕机或限流，而且没有一个统一的地方可以在数十个模型之间强制执行安全、预算和合规策略。该项目的核心使命是让LLM提供商之间的切换、组合或故障转移变得像更改一个请求头一样简单——生产级可靠性和安全性是内建的，而非事后附加。在生产环境中，该网关每天已处理超过100亿个token。

它与普通API代理或单一提供商SDK封装的区别在于：

通用API表面——在50多家提供商的1600多个模型前提供统一的OpenAI兼容接口，切换提供商只需修改配置，无需重写代码。
内建可靠性工程——自动故障转移、指数退避重试、负载均衡和超时管理是网关的原生行为，无需每个应用团队重新实现。
护栏是一等公民——50多个预构建的输入/输出护栏在请求路径中内联运行，而非外部的附加审核服务。
部署灵活性——同一个网关既可以作为托管云服务运行，也可以作为自托管的Docker/Node.js实例运行，还可以部署在Cloudflare Workers边缘节点上。

3. 功能分类

🔀 可靠路由

即使单个提供商出现故障，也能确保请求持续成功。

跨提供商和模型的自动故障转移
指数退避重试（最多5次）
跨多个提供商和API密钥的负载均衡
请求超时管理
多模态和Realtime API（websocket）支持
目的：吸收提供商宕机、限流和延迟峰值，调用方应用无感知。

🛡️ 安全与护栏

围绕每个请求的内联检查和访问控制。

40多个用于输入和输出验证的预构建护栏
基于角色的访问控制，支持细粒度权限
用于安全凭证管理的虚拟密钥管理
符合SOC2、HIPAA、GDPR和CCPA的合规控制
目的：集中执行内容、安全和访问策略，而非逐应用实施。

💰 成本管理

LLM支出的可见性和节省。

简单和语义响应缓存
用量分析和按请求监控
跨提供商成本优化与比较
目的：削减冗余API支出，让团队实时了解LLM使用的实际成本。

🤝 协作与集成

将网关连接到团队构建智能体时使用的工具中。

智能体框架集成：Autogen、CrewAI、LangChain、LlamaIndex、Phidata、Control Flow
提示词模板管理
用于管理Model Context Protocol服务器的MCP网关
目的：无论团队在哪个智能体框架或协议之上构建，都能标准化使用Portkey作为路由层。

4. 核心亮点

一个API背后1600多个模型——通过配置而非代码更改来切换或组合提供商。
生产环境每天处理100亿+ token——路由和可靠性逻辑已在实际生产规模中得到验证。
50多个内联护栏——安全和合规检查在请求路径中运行，而非事后补充。
不到2分钟即可集成——设计上支持新提供商或模型几乎立即接入。
多种部署模式——托管云、自托管Docker/Node.js或Cloudflare Workers边缘部署。
MCP网关支持——与传统LLM路由并列的一等公民级Model Context Protocol服务器管理。

5. 按角色划分的使用场景

普通开发者——将基于OpenAI SDK的现有代码指向网关的OpenAI兼容端点，即可以极少的代码更改获得故障转移、重试和缓存能力。

DevOps/SRE——通过Docker或Cloudflare Workers部署网关，在LLM流量前增加弹性路由层，负载均衡和自动故障转移可减少因提供商宕机导致的告警事件。

安全工程师——配置40多个护栏、基于角色的访问控制和虚拟密钥管理，集中对所有LLM流量强制执行输入/输出策略以及SOC2/HIPAA/GDPR/CCPA对齐的控制。

数据/研究科学家——使用语义缓存和用量分析控制实验成本，同时通过同一接口比较多个提供商/模型的输出。

项目经理——使用内置的用量分析和成本监控仪表板，跨团队跟踪LLM支出和可靠性，无需逐一修改每个集成。

6. 快速开始

查找所需内容——浏览完整文档，了解提供商指南、护栏和框架集成：

https://portkey.ai/docs

安装并运行——在本地试用网关的最快方式是通过npx（需要Node.js）：

npx @portkey-ai/gateway

这将在http://localhost:8787/v1启动网关，控制台位于http://localhost:8787/public/。还支持Docker、Cloudflare Workers、Replit和托管的Portkey Cloud部署。

参与贡献——克隆仓库，查看标记为"good first issue"的问题，然后提交拉取请求：

git clone https://github.com/Portkey-AI/gateway
npm install
npm run build

该项目还每周举办AI工程时间（周五上午8点太平洋时间），供贡献者直接参与交流。

7. 项目结构

gateway/
├── src/          # 核心网关源代码（TypeScript）
├── plugins/      # 护栏和集成插件
├── docs/         # 文档源文件
├── cookbook/     # 使用示例和教程
├── tests/        # 测试套件
├── patches/      # 依赖补丁
├── Dockerfile           # 容器构建定义
├── docker-compose.yaml  # 多容器编排
└── wrangler.toml         # Cloudflare Workers部署配置

关键入口点：src/包含构成网关核心的请求路由、故障转移和重试逻辑；plugins/是护栏和第三方集成的存放位置；cookbook/是获取针对特定提供商或框架的可复制示例的最佳起点。

8. 相关生态

上游依赖：50多家LLM提供商，包括OpenAI、Azure OpenAI、Google Gemini、Anthropic、Cohere、Mistral和Ollama；用于工具/服务器集成的Model Context Protocol（MCP）。
部署平台：Portkey Cloud（托管）、Docker、Node.js、Cloudflare Workers、Replit。
配套工具：智能体框架Autogen、CrewAI、LangChain、LlamaIndex、Phidata和Control Flow；Python、JavaScript和REST客户端SDK，以及与现有OpenAI SDK的即插即用兼容性。

9. 许可证

Portkey AI Gateway 以MIT许可证发布。

✅ 允许个人或商业用途的使用、修改和分发
✅ 允许创建和分发衍生作品，包括专有产品
✅ 允许在生产环境中使用，无需支付许可费
❌ 作者或贡献者不对因使用本软件造成的损害承担责任
❌ 未经许可，不得使用Portkey名称或商标暗示官方认可
ℹ️ 在再分发副本中保留原始版权声明和许可证文本

10. 常见问题

问：我可以将现有的OpenAI SDK代码与Portkey一起使用吗？
答：可以。网关提供OpenAI兼容API，因此现有的OpenAI SDK调用只需极少的更改即可指向网关端点。

问：它支持多少提供商和模型？
答：50多家提供商的1600多个模型，包括OpenAI、Azure OpenAI、Google Gemini、Anthropic、Cohere、Mistral和Ollama。

问：在本地试用最快的方式是什么？
答：运行npx @portkey-ai/gateway，即可在http://localhost:8787/v1启动网关，并带有本地控制台。

问：它能自动处理提供商宕机吗？
答：可以。内置的自动故障转移、指数退避重试和负载均衡可在提供商故障或限流时确保请求持续成功。

问：它也能管理MCP（Model Context Protocol）服务器吗？
答：可以。通过MCP网关功能，可在标准LLM路由之外管理Model Context Protocol服务器。

11. 快速链接

仓库：https://github.com/Portkey-AI/gateway
官方文档：https://portkey.ai/docs
贡献指南：https://github.com/Portkey-AI/gateway（参见CONTRIBUTING引用和"good first issue"标签）
社区：仓库README中链接的Discord和Twitter（@PortkeyAI）

12. 总结

Portkey AI Gateway 为团队在1600多个LLM前提供了一个经过生产验证的单一API，处理了原本需要每个应用自行重建的可靠性、安全性和成本问题。它最适合需要可靠的多提供商LLM路由的开发者、平台/DevOps团队，以及希望集中实施护栏和合规控制的安全敏感型组织——全部在宽松的MIT许可证下。