new-api

1. Projektübersicht

New API ist ein Open-Source-LLM-Gateway der nächsten Generation und ein KI-Asset-Managementsystem, das es Organisationen ermöglicht, mehrere KI-Modellanbieter hinter einer einzigen einheitlichen API zu bündeln und gleichzeitig Unternehmens-Authentifizierung, Nutzungsanalysen und Kostenrechnung hinzuzufügen.

2. Hintergrund & Positionierung

New API wurde auf Basis des bekannten One API-Projekts entwickelt und erweitert es um eine neu gestaltete Oberfläche, umfangreichere Abrechnungsfunktionen und Funktionen, die auf organisationsebene, selbst gehostete Bereitstellungen zugeschnitten sind. Die Kernaufgabe besteht darin, Teams und Unternehmen einen einzigen, kontrollierbaren Einstiegspunkt für den Aufruf vieler verschiedener Large-Language-Model-Anbieter (LLM) zu bieten – anstatt für jeden Anbieter separate SDKs, API-Schlüssel und Abrechnungs-Dashboards zu verwalten.

Im Vergleich zu ähnlichen LLM-Proxy-/Gateway-Projekten zeichnet sich New API durch die Kombination von API-Formatübersetzung (OpenAI, Claude, Gemini und mehr) mit einer voll ausgestatteten Verwaltungskonsole aus: Benutzerkontingente, Lastverteilung über mehrere Kanäle, cache-bewusste Abrechnung und Unterstützung für Community-Login-Anbieter (Discord, LinuxDO, Telegram, OIDC), die bei selbst gehosteten und Community-betriebenen Bereitstellungen beliebt sind.

3. Funktionskategorien

🖥️ Verwaltungskonsole & Benutzeroberfläche
Modernes, mehrsprachiges Web-Dashboard (Chinesisch, Englisch, Französisch, Japanisch) zur Verwaltung von Kanälen, Benutzern und Abrechnung. Enthält visuelle Nutzungsanalysen, statistische Berichte und eine im Vergleich zu seinem One-API-Vorgänger neu gestaltete Benutzeroberfläche. Zweck: Administratoren volle Transparenz und Kontrolle bieten, ohne direkt auf die Datenbank zugreifen zu müssen.

💳 Abrechnung & Monetarisierung
Internes Guthaben-Wallet-System mit EPay- und Stripe-Integration, nutzungsbasierte Kostenrechnung auf Anfrageebene und Cache-Abrechnungsunterstützung für Anbieter wie OpenAI, Azure, Claude, DeepSeek und Qwen. Zweck: Betreibern ermöglichen, LLM-Zugriff mit genauen, prüfbaren Kosten weiterzuverkaufen oder intern zu verrechnen.

🔌 API-Formatkompatibilität
Unterstützt das OpenAI-Chat-/Responses-Format, die Claude-Messages-API, das Google-Gemini-Format und Rerank-APIs (Cohere, Jina) mit automatischer Formatkonvertierung zwischen inkompatiblen Upstream- und Downstream-Formaten. Zweck: Client-Anwendungen können ihr bevorzugtes SDK weiterverwenden, während das Gateway mit dem tatsächlich konfigurierten Anbieter kommuniziert.

🔀 Routing & Zuverlässigkeit
Gewichtete zufällige Kanalverteilung, automatisches Failover/Retry bei Upstream-Fehlern und Ratenbegrenzung pro Benutzer und Modell. Zweck: Dienst verfügbar und fair halten, auch wenn einzelne Upstream-Anbieter degradieren oder Anfragen drosseln.

🔑 Authentifizierung & Zugriffskontrolle
Mehrere Anmeldemethoden (Discord, LinuxDO, Telegram, OIDC) sowie Token- und benutzerbezogene Berechtigungssteuerung. Zweck: Sowohl für Community-/offene selbst gehostete Bereitstellungen als auch für kontrollierte interne Organisationsbereitstellungen geeignet.

4. Hauptmerkmale

• Multi-Anbieter-Aggregation: Ein Gateway-Endpunkt bündelt OpenAI, Claude, Gemini, Azure, Midjourney-Proxy, Suno und andere benutzerdefinierte Upstreams und deckt Chat-, Bild-, Audio-, Embedding- und Video-Schnittstellen ab.
• Formatübersetzungsebene: Konvertiert automatisch zwischen OpenAI-, Claude- und Gemini-Anfrage-/Antwortformaten, sodass Client-Code nicht pro Anbieter neu geschrieben werden muss.
• Cache-bewusste Kostenrechnung: Versteht das Prompt-Caching-Abrechnungsverhalten großer Anbieter, sodass Kostenberichte die tatsächlichen (rabattierten) Ausgaben widerspiegeln und nicht den Listenpreis.
• Reasoning-Aufwand-Konfiguration: Stellt Steuerungsmöglichkeiten für den Reasoning-Aufwand über mehrere Modellfamilien bereit, die diese unterstützen – nützlich für Kosten-/Latenzoptimierung bei reasoning-fähigen Modellen.
• Unternehmensfreundliche Abrechnung: Integrierte Stripe- und EPay-Aufladeflüsse sowie flexible Abrechnungsrichtlinien, sodass das Gateway als Self-Service-Plattform mit Pay-as-you-go-Modell fungieren kann.
• Robustes Routing: Gewichtete Kanalverteilung mit automatischem Retry bedeutet, dass ein einzelner fehlerhafter Upstream-Schlüssel oder -Anbieter nicht das gesamte Gateway lahmlegt.

5. Anwendungsfälle nach Rolle

Allgemeine Entwickler: Vorhandene OpenAI-/Claude-/Gemini-kompatible SDKs auf einen einzigen New-API-Endpunkt ausrichten und Backend-Anbieter wechseln oder mischen, ohne Anwendungscode zu ändern.

DevOps/SRE: New API als selbst gehostetes Gateway (Docker/Docker Compose) vor mehreren LLM-Anbietern bereitstellen, um Geheimnisse zu zentralisieren, die Nutzung zu überwachen und Failover hinzuzufügen, sodass kein einzelner Anbieterausfall einen appweiten Vorfall verursacht.

Projektmanager: Integrierte Nutzungs-Dashboards und Kostenrechnung verwenden, um Ausgaben pro Team, Projekt oder API-Schlüssel zu verfolgen und Kontingente festzulegen, um die KI-Nutzung im Budgetrahmen zu halten.

6. Erste Schritte

Das Nötige finden – mit der Projekt-README und dem Wiki für Funktionserklärungen und Konfigurationsreferenzen beginnen:

https://github.com/QuantumNous/new-api

Installieren/integrieren – der schnellste Weg ist Docker:

docker run --name new-api -p 3000:3000 -v ./data:/data calciumion/new-api:latest

Docker Compose wird für die Produktion empfohlen, mit SQLite für einfache lokale Einrichtungen oder MySQL 5.7.8+/PostgreSQL 9.6+ für gemeinsame/Remote-Datenbankbereitstellungen.

Mitwirken – Repository forken, Feature-Branch erstellen und Pull Request eröffnen:

git clone https://github.com/QuantumNous/new-api.git

7. Projektstruktur

new-api/
├── controller/     # HTTP-Handler für Admin-API und Gateway-Endpunkte
├── relay/          # Kernlogik für Anfrage-Relay/Proxy zu Upstream-Modellanbietern
├── model/          # Datenbankmodelle (Benutzer, Kanäle, Token, Protokolle)
├── middleware/      # Authentifizierung, Ratenbegrenzung und Anfrage-Middleware
├── web/            # Frontend-Verwaltungskonsole (mehrsprachige Benutzeroberfläche)
├── docker-compose.yml
└── README.md

Das Verzeichnis relay/ ist das Herzstück des Projekts – es enthält die Formatübersetzungs- und Anbieter-Dispatch-Logik, die es ermöglicht, eine einzelne Anfrage an verschiedene Upstream-LLM-APIs weiterzuleiten und für diese umzuformen.

8. Verwandtes Ökosystem

New API baut auf der von One API entwickelten Architektur auf und integriert sich in Upstream-Modellanbieter wie OpenAI, Anthropic (Claude), Google (Gemini), Azure OpenAI, Midjourney-Proxy und Suno API. Es unterstützt außerdem die Anmeldung über Community-Plattformen wie Discord, LinuxDO und Telegram sowie die Zahlungsintegration über Stripe und EPay und fungiert damit als Drehscheibe, die LLM-Anbieter, Identitätsanbieter und Zahlungsabwickler verbindet.

9. Lizenz

✅ Kostenlos nutzbar, modifizierbar und selbst hostbar unter der AGPLv3-Lizenz, einschließlich für kommerzielle und interne Unternehmensbereitstellungen.
✅ Modifizierte Versionen dürfen weitergegeben werden.
❌ Die Namensnennung oder der sichtbare Link zurück zum ursprünglichen Repository darf in modifizierten/weitergegebenen Versionen nicht entfernt werden.
ℹ️ AGPLv3 verlangt, dass bei Betrieb einer modifizierten Version als Netzwerkdienst der modifizierte Quellcode den Nutzern dieses Dienstes zugänglich gemacht werden muss – Lizenztext vor der kommerziellen Bereitstellung einer angepassten Version prüfen.

10. FAQ

F: Benötigt New API eine bestimmte Datenbank?
A: Nein – es unterstützt SQLite für einfache lokale Bereitstellungen und MySQL 5.7.8+ oder PostgreSQL 9.6+ für Produktions-/Mehrknoten-Bereitstellungen.

F: Kann ich New API über mehrere Knoten betreiben?
A: Ja, aber alle Knoten müssen dieselbe Datenbank und eine identische Umgebungsvariable SESSION_SECRET verwenden, und Redis wird als gemeinsame Cache-Ebene empfohlen.

F: Welche Modellanbieter werden unterstützt?
A: OpenAI, Claude, Google Gemini, Azure, Midjourney-Proxy, Suno und andere benutzerdefinierte Upstream-Kanäle, die Chat-, Bild-, Audio-, Embedding- und Video-Schnittstellen abdecken.

F: Ist New API kostenlos selbst hostbar?
A: Ja, es ist Open Source unter AGPLv3 und kostenlos bereitstellbar; Abrechnungs-/Aufladefunktionen ermöglichen es Betreibern, bei Bedarf eigene Endnutzer zu belasten.

11. Schnellzugriff

• Repository: https://github.com/QuantumNous/new-api
• Docker-Image: calciumion/new-api
• Mitwirken: Pull Request gegen das Haupt-Repository eröffnen
• Community/Diskussionen: GitHub Issues und Discussions auf der Repository-Seite

12. Zusammenfassung

New API ist ein ausgereiftes, aktiv gewartetes selbst gehostetes Gateway zur Bündelung des Zugriffs auf mehrere LLM-Anbieter hinter einer einzigen API, mit produktionsreifen Abrechnungs-, Routing- und Authentifizierungsfunktionen. Es eignet sich am besten für Teams, Communities oder Unternehmen, die Multi-Anbieter-KI-Kosten und -Zugriff zentral verwalten müssen, anstatt die API jedes Anbieters separat zu integrieren.