OmniRoute：开源 AI 网关

1. 项目概述

OmniRoute 是一款免费、基于 MIT 许可证、自托管的 AI 网关，它将 290 多家 AI 提供商和 500 多个模型的访问统一在一个兼容 OpenAI 的端点之后，解决了在使用 LLM 进行开发时管理独立 API 密钥、速率限制和提供商宕机的痛点。

2. 背景与定位

OmniRoute 的创立旨在让开发者“永不停止编码”——即使是最喜欢的模型触发了速率限制、耗尽了免费额度或完全宕机。开发者无需将应用程序硬编码绑定到单一提供商，只需将工具指向 OmniRoute 的本地端点一次，网关便会在后台处理提供商选择、故障转移和成本优化。

与 OpenRouter 或 LiteLLM 等类似的网关项目相比，OmniRoute 的优势在于：

拥有更庞大的免费层提供商目录（90 多家提供商提供免费访问，每月追踪约 15.3 亿个免费 Token）
本地优先架构——默认完全在开发者自己的机器上运行，实现零云端遥测，而不是通过第三方 SaaS 路由流量
内置Token 压缩管道，在路由和回退功能之上进一步降低每次请求的成本
除 REST API 外，原生支持智能体协议（MCP、A2A），将其定位为人类开发者和自主编码智能体的基础设施

3. 功能分类

🔀 智能路由——19 种策略，3-5 个示例：优先级路由、加权路由、成本优化路由、“最后已知良好路径”路由以及“Auto”组合模式。目的：为每次请求自动选择最佳可用提供商。

🛡️ 弹性与故障转移——3 层系统，示例：按提供商配置的熔断器、失败自动重试、感知额度的回退、基于健康状态的路由、远程 VPS 故障转移模式。目的：即使个别提供商触发速率限制或宕机，也能确保请求成功。

🗜️ Token 压缩——12 引擎管道，示例：RTK（工具结果过滤）、Caveman（散文压缩）、LLMLingua-2（语义剪枝）、代码/URL/JSON 保留规则。目的：在不破坏结构化内容的情况下，将 Token 使用量减少 15%–95%（平均约 89%）。

🔌 协议与集成支持——4 个主要接口，示例：兼容 OpenAI 的 REST API、MCP 服务器（104 个工具）、A2A 协议、Webhooks、80 多个 CLI 命令。目的：让人类驱动的 IDE 和自主智能体以相同的方式与网关通信。

🤝 编码智能体兼容性——支持 33 种以上工具，示例：Claude Code、Cursor、Cline、Continue、GitHub Copilot、OpenCode。目的：作为无缝替换端点，使现有的智能体工具无需修改即可运行。

4. 核心亮点

一个端点接入 290 多家提供商、500 多个模型——包括 Claude、GPT、Gemini、DeepSeek、GLM、Kimi 和 MiniMax，无需管理数十个独立的 API 密钥即可访问。
90 多家免费提供商，每月追踪约 15.3 亿个免费 Token——提供机器可读、定期重新审计的免费层目录，大约每两周更新一次。
12 引擎 Token 压缩——在明确保留代码、URL 和 JSON 结构的同时精简请求/响应负载，降低每次调用的花费。
3 层熔断器弹性机制——自动检测故障提供商并重新路由流量，确保单一提供商宕机不会中断开发。
本地优先、零遥测设计——网关及其加密（AES-256-GCM）凭证存储完全在用户自己的机器或自托管服务器上运行。
智能体原生协议——与 REST API 并列提供一流的 MCP 服务器和 A2A 协议支持，专为不断发展的自主编码智能体生态系统而构建。

5. 按角色划分的使用场景

普通开发者——将任何兼容 OpenAI 的 IDE 或 CLI 工具指向 http://localhost:20128/v1，使用 auto 模型，即可在免费和付费提供商之间实现自动回退，无需重写集成代码。

DevOps/SRE——通过 Docker 部署 OmniRoute，或将其作为带有作用域远程 Token 的 VPS 托管实例部署，以集中管理和监控整个团队的 LLM 使用情况、配额和提供商健康状态。

项目经理——使用配额池和公平份额分配来控制和跟踪整个团队的 AI 支出，无需每个成员都拥有独立的提供商账户。

6. 快速入门

查找所需内容——浏览代码库 /docs 目录中的免费层提供商目录和对比文档，或查看 Wiki 了解架构和指南。

安装/集成：

npm install -g omniroute
omniroute

或通过 Docker：

docker run -d --name omniroute -p 127.0.0.1:20128:20128 diegosouzapw/omniroute

然后将任何兼容 OpenAI 的客户端指向 http://localhost:20128/v1。

参与贡献：

git clone https://github.com/diegosouzapw/OmniRoute.git
cd OmniRoute
npm install && npm run dev

遵循项目的贡献指南提交 Pull Request。

7. 项目结构

OmniRoute/
├── src/         # 核心网关、路由引擎、压缩管道
├── public/      # 仪表盘资产和提供商图标
├── docs/        # 指南：Docker、压缩、提供商、安全
├── tests/       # 自动化测试套件
├── electron/    # 原生桌面应用（Windows/macOS/Linux）
└── examples/    # 编码智能体和 IDE 的集成示例

src/ 包含作为网关核心的路由和压缩逻辑，而 docs/ 包含整个项目中引用的持续更新的免费层提供商目录。

8. 相关生态系统

上游依赖：其路由到的 290 多家 AI 提供商（OpenAI、Anthropic、Google、Moonshot AI/Kimi、DeepSeek 以及众多免费层服务），以及作为底层应用框架的 Next.js。
配套工具：编码智能体和 IDE，如 Claude Code、Cursor、Cline、Continue、OpenCode 和 GitHub Copilot，它们将 OmniRoute 作为模型后端进行连接。
同类项目：OpenRouter 和 LiteLLM，它们解决类似的多提供商路由需求。

9. 许可证

✅ 免费使用、自托管、修改和分发（MIT 许可证）
✅ 允许商业使用
❌ 作者不提供任何担保
ℹ️ 要求在软件副本中保留原始版权和许可证声明

10. 常见问题解答

问：OmniRoute 会将我的 API 密钥或流量发送到第三方云服务吗？
答：不会——它被设计为本地优先的网关，在您自己的机器或服务器上运行，默认零云端遥测，并对本地凭证存储进行加密。

问：使用 OmniRoute 需要付费吗？
答：OmniRoute 本身是免费且基于 MIT 许可证的。它还整理了 90 多家提供商的免费层，因此您无需任何付费 API 密钥即可开始使用。

问：我可以将 OmniRoute 与哪些编码工具结合使用？
答：任何兼容 OpenAI 的客户端均可开箱即用，包括 Claude Code、Cursor、Cline、Continue、OpenCode 和 GitHub Copilot——明确支持 33 种以上的工具。

问：“auto”模型是如何工作的？
答：将模型设置为 auto 可让 OmniRoute 根据路由策略、配额和健康状态动态选择最佳提供商，并在提供商故障时自动回退。

问：Token 压缩实际能节省多少？
答：项目文档显示，根据内容类型不同，可节省约 15%–95%，平均约 89%，这是通过一个始终保留代码、URL 和 JSON 的 12 阶段压缩管道实现的。

11. 快速链接

代码库：https://github.com/diegosouzapw/OmniRoute
Wiki / 文档：https://github.com/diegosouzapw/OmniRoute/wiki
用户指南：https://github.com/diegosouzapw/OmniRoute/blob/main/docs/guides/USER_GUIDE.md
发行版：https://github.com/diegosouzapw/OmniRoute/releases

12. 总结

OmniRoute 为开发者提供了一个统一的自托管网关，可接入数百个 AI 提供商和模型，既降低了管理多个 API 密钥的运维开销，又减少了每次请求的 Token 成本。它最适合依赖 AI 编码智能体、希望抵御提供商速率限制和宕机风险，同时又不愿放弃对凭证或流量控制权的个人开发者和团队。