new-api

一個開源、自架的 LLM 閘道器,將 OpenAI、Claude、Gemini 及其他 AI 供應商統一在單一 API 之後,並提供計費、路由與驗證功能。

GoAGPL-3.0Deploy & Inference
⭐ GitHubhttps://github.com/QuantumNous/new-api
44,981
Star 數
+0
Star 增速
2026年8月11日
最後更新
3
點擊數

1. 專案概覽

New API 是一個開源、次世代的 LLM 閘道器與 AI 資產管理系統,讓組織能夠將多個 AI 模型供應商彙整在單一統一 API 之後,同時在之上加入企業級驗證、使用分析與成本會計功能。

2. 背景與定位

New API 建構於知名的 One API 專案之上,並以重新設計的介面、更豐富的計費能力,以及專為組織層級、自架部署所設計的功能加以擴充。核心使命是為團隊與企業提供一個單一、可控的入口,用以呼叫許多不同的大型語言模型(LLM)供應商——而非需要為每家供應商分別管理不同的 SDK、API 金鑰與計費儀表板。

與類似的 LLM 代理/閘道器專案相比,New API 的差異化在於結合了 API 格式轉換(OpenAI、Claude、Gemini 等)與功能完整的管理主控台:每位使用者的配額、多通道負載平衡、支援快取的計費,以及對自架與社群營運部署中常見的社群登入供應商(Discord、LinuxDO、Telegram、OIDC)的支援。

3. 功能類別

🖥️ 管理主控台與 UI
現代化、多語言的網頁儀表板(中文、英文、法文、日文),用於管理通道、使用者與計費。包含視覺化使用分析、統計報表,以及相較於其前身 One API 重新設計的 UI。目的:讓管理員無需直接操作資料庫即可獲得完整的可視性與控制能力。

💳 計費與營利
內建儲值錢包系統,整合 EPay 與 Stripe,提供基於請求層級的使用量成本會計,並支援 OpenAI、Azure、Claude、DeepSeek 與 Qwen 等供應商的快取計費。目的:讓營運者能夠以準確、可稽核的成本轉售或內部收取 LLM 存取費用。

🔌 API 格式相容性
支援 OpenAI Chat/Responses 格式、Claude Messages API、Google Gemini 格式,以及 rerank API(Cohere、Jina),並在不相容的上游與下游格式之間自動進行格式轉換。目的:讓用戶端應用程式繼續使用偏好的 SDK,而閘道器則與實際設定的任何供應商通訊。

🔀 路由與可靠性
加權隨機通道分配、上游故障時的自動故障轉移/重試,以及每位使用者的模型速率限制。目的:即使個別上游供應商效能下降或限制請求速率,仍能維持服務的可用性與公平性。

🔑 驗證與存取控制
多種登入方式(Discord、LinuxDO、Telegram、OIDC),加上權杖與使用者層級的權限控制。目的:同時適用於社群/開放式自架部署,以及受控的內部組織部署。

4. 主要亮點

  • 多供應商彙整:單一閘道器端點即可面對 OpenAI、Claude、Gemini、Azure、Midjourney-Proxy、Suno 及其他自訂上游,涵蓋聊天、影像、音訊、嵌入與視訊介面。
  • 格式轉換層:自動在 OpenAI、Claude 與 Gemini 的請求/回應格式之間進行轉換,因此用戶端程式碼無需針對每家供應商重寫。
  • 支援快取的成本會計:了解主要供應商的提示快取計費行為,使成本報表反映實際(折扣後)支出,而非標價。
  • 推理努力設定:在支援此功能的多個模型系列中公開推理努力控制項,有助於對具推理能力的模型進行成本/延遲調整。
  • 企業友善計費:內建 Stripe 與 EPay 儲值流程,加上彈性的計費政策,使閘道器可作為自助式、按用量付費的內部平台。
  • 彈性路由:加權通道分配搭配自動重試,意味著單一上游金鑰或供應商故障不會拖垮整個閘道器。

5. 依角色區分的使用案例

一般開發者:將現有的 OpenAI/Claude/Gemini 相容 SDK 指向單一 New API 端點,即可在不變更應用程式碼的情況下切換或混用後端供應商。

DevOps/SRE:將 New API 部署為自架閘道器(Docker/Docker Compose),置於多個 LLM 供應商之前,以集中管理機密、監控使用量,並加入故障轉移機制,避免單一供應商中斷導致整個應用程式事故。

專案經理:使用內建的使用儀表板與成本會計功能,追蹤每個團隊、專案或 API 金鑰的支出,並設定配額以將 AI 使用量控制在預算之內。

6. 開始使用

尋找所需內容——從專案 README 與 Wiki 開始,取得功能說明與設定參考:

https://github.com/QuantumNous/new-api

安裝/整合——最快的途徑是 Docker:

docker run --name new-api -p 3000:3000 -v ./data:/data calciumion/new-api:latest

生產環境建議使用 Docker Compose,簡單的本地設定可使用 SQLite,共享/遠端資料庫部署則可使用 MySQL 5.7.8+/PostgreSQL 9.6+。

貢獻——複製(fork)儲存庫、建立功能分支,並開啟拉取請求(pull request):

git clone https://github.com/QuantumNous/new-api.git

7. 專案結構

new-api/
├── controller/     # 管理 API 與閘道器端點的 HTTP 處理器
├── relay/          # 向上游模型供應商轉發/代理請求的核心邏輯
├── model/          # 資料庫模型(使用者、通道、權杖、日誌)
├── middleware/      # 驗證、速率限制與請求中介軟體
├── web/            # 前端管理主控台(多語言 UI)
├── docker-compose.yml
└── README.md

relay/ 目錄是專案的核心——它包含格式轉換與供應商分派邏輯,使單一請求能夠被路由至不同的上游 LLM API 並為其重新塑形。

8. 相關生態系

New API 建構於 One API 所開創的架構之上,並整合了包括 OpenAI、Anthropic(Claude)、Google(Gemini)、Azure OpenAI、Midjourney-Proxy 與 Suno API 在內的上游模型供應商。它也支援透過 Discord、LinuxDO 與 Telegram 等社群平台登入,並透過 Stripe 與 EPay 進行金流整合,使其成為連接 LLM 供應商、身分提供者與金流處理器的樞紐。

9. 授權

✅ 在 AGPLv3 授權下可自由使用、修改與自架,包括商業與內部企業部署。
✅ 您可以重新散布修改後的版本。
❌ 您不得在修改/重新散布的版本中移除歸屬標示或指向原始儲存庫的可見連結。
ℹ️ AGPLv3 要求,若您將修改後的版本作為網路服務執行,您必須向該服務的使用者提供修改後的原始碼——在商業化部署自訂分支前,請先審閱授權條款全文。

10. 常見問題

問:New API 需要特定的資料庫嗎?
答:不需要——它支援用於簡單本地部署的 SQLite,以及用於生產/多節點部署的 MySQL 5.7.8+ 或 PostgreSQL 9.6+。

問:我可以在多個節點上執行 New API 嗎?
答:可以,但所有節點必須共享相同的資料庫與相同的 SESSION_SECRET 環境變數,並建議使用 Redis 作為共享快取層。

問:支援哪些模型供應商?
答:OpenAI、Claude、Google Gemini、Azure、Midjourney-Proxy、Suno,以及其他自訂設定的上游通道,涵蓋聊天、影像、音訊、嵌入與視訊介面。

問:New API 可以免費自架嗎?
答:可以,它在 AGPLv3 下開源且可免費部署;計費/儲值功能可讓營運者視需要向其最終使用者收費。

11. 快速連結

  • 儲存庫:https://github.com/QuantumNous/new-api
  • Docker 映像檔:calciumion/new-api
  • 貢獻:針對主儲存庫開啟拉取請求
  • 社群/討論:儲存庫頁面上的 GitHub Issues 與 Discussions

12. 總結

New API 是一個成熟、積極維護的自架閘道器,用於將多個 LLM 供應商的存取整合在單一 API 之後,並具備生產等級的計費、路由與驗證功能。它最適合需要集中管理多供應商 AI 成本與存取權限的團隊、社群或企業,而非分別整合每家供應商的 API。