Portkey AI Gateway: 統一LLMルーティング

1. プロジェクト概要

Portkey AI Gatewayは、オープンソースで超高速なAIゲートウェイです。開発者は1,600以上のLLMを50以上のプロバイダー経由で単一の統一APIにルーティングでき、アプリケーションコードを変更することなく、自動的な信頼性、セキュリティガードレール、コスト管理を追加できます。

2. 背景とポジショニング

Portkeyは、LLM上で構築するすべてのチームが最終的に直面する問題を解決するために作られました。プロバイダーAPIは一貫性がなく、個々のプロバイダーは予測不能にダウンしたりレート制限をかけたりし、数十のモデルにわたってセキュリティ、予算、コンプライアンスポリシーを適用する単一の場所がありません。このプロジェクトの中心的な使命は、LLMプロバイダーの切り替え、組み合わせ、フォールバックを、ヘッダーを1つ変更するのと同じくらい簡単にすることです。本番グレードの信頼性と安全性は後付けではなく最初から組み込まれています。本番環境では、このゲートウェイはすでに1日あたり100億トークン以上を処理しています。

単なるAPIプロキシや単一プロバイダーのSDKラッパーとは一線を画す点は以下の通りです。

ユニバーサルAPIサーフェス — 50以上のプロバイダーからの1,600以上のモデルの前に1つのOpenAI互換インターフェースを配置。プロバイダーの切り替えはコードの書き直しではなく設定変更で完了します。
組み込みの信頼性エンジニアリング — 自動フォールバック、指数バックオフ付きリトライ、負荷分散、タイムアウトはゲートウェイのネイティブな動作であり、各アプリケーションチームが再実装する必要はありません。
ガードレールを第一級市民として扱う — 50以上の事前構築済み入出力ガードレールがリクエストパスにインラインで実行され、外部の後付けモデレーションサービスではありません。
デプロイの柔軟性 — 同じゲートウェイが、マネージドクラウドサービス、セルフホストのDocker/Node.jsインスタンス、またはCloudflare Workers上のエッジデプロイとして実行されます。

3. 機能カテゴリ

🔀 信頼性の高いルーティング

個々のプロバイダーが失敗してもリクエストを成功させ続けます。

プロバイダーとモデル間の自動フォールバック
指数バックオフ付きリトライ（最大5回）
複数のプロバイダーとAPIキー間の負荷分散
リクエストタイムアウト管理
マルチモーダルおよびRealtime API（ウェブソケット）サポート
目的: プロバイダーの障害、レート制限、レイテンシのスパイクを、呼び出し元アプリケーションに気付かれることなく吸収します。

🛡️ セキュリティとガードレール

すべてのリクエストに対するインラインチェックとアクセス制御。

入出力検証用の40以上の事前構築済みガードレール
きめ細かい権限を持つロールベースのアクセス制御
安全な認証情報管理のための仮想キー管理
SOC2、HIPAA、GDPR、CCPA準拠のコンプライアンス制御
目的: コンテンツ、安全性、アクセスポリシーをアプリケーションごとではなく中央で適用します。

💰 コスト管理

LLM支出の可視化と削減。

シンプルかつセマンティックなレスポンスキャッシュ
使用状況分析とリクエストごとのモニタリング
プロバイダー間のコスト最適化と比較
目的: 冗長なAPI支出を削減し、チームにLLM使用の実際のコストをリアルタイムで把握させます。

🤝 コラボレーションと統合

チームがエージェントを構築するためにすでに使用しているツールにゲートウェイを接続します。

エージェントフレームワーク統合: Autogen、CrewAI、LangChain、LlamaIndex、Phidata、Control Flow
プロンプトテンプレート管理
Model Context Protocolサーバー管理のためのMCPゲートウェイ
目的: どのエージェントフレームワークやプロトコルの上に構築するかに関係なく、チームがルーティングレイヤーとしてPortkeyを標準化できるようにします。

4. 主なハイライト

1つのAPIの背後にある1,600以上のモデル — コード変更ではなく設定でプロバイダーを切り替えたり組み合わせたりできます。
本番環境で1日あたり100億トークン以上 — ルーティングと信頼性のロジックは実際の本番スケールで実証済みです。
50以上のインラインガードレール — 安全性とコンプライアンスチェックが後付けではなくリクエストパスで実行されます。
2分未満の統合 — 新しいプロバイダーやモデルをほぼ即座に配線できるように設計されています。
複数のデプロイモード — マネージドクラウド、セルフホストのDocker/Node.js、またはエッジのCloudflare Workers。
MCPゲートウェイサポート — 従来のLLMルーティングに加えて、Model Context Protocolサーバーの第一級の管理を提供します。

5. 役割別のユースケース

一般開発者 — 既存のOpenAI SDKベースのコードをゲートウェイのOpenAI互換エンドポイントに向けるだけで、最小限のコード変更でフォールバック、リトライ、キャッシュを即座に利用できます。

DevOps/SRE — DockerまたはCloudflare Workersを介してゲートウェイをデプロイし、LLMトラフィックの前に回復力のあるルーティングレイヤーを追加します。負荷分散と自動フェイルオーバーにより、プロバイダーの障害によるオンコールインシデントを削減します。

セキュリティエンジニア — 40以上のガードレール、ロールベースのアクセス制御、仮想キー管理を設定して、すべてのLLMトラフィックにわたって入出力ポリシーとSOC2/HIPAA/GDPR/CCPA準拠の制御を中央で適用します。

データ/リサーチサイエンティスト — セマンティックキャッシュと使用状況分析を使用して実験コストを管理しながら、同じインターフェースを通じて多くのプロバイダー/モデル間で出力を比較できます。

プロジェクトマネージャー — 組み込みの使用状況分析とコスト監視ダッシュボードを使用して、各統合に個別に触れることなく、チーム全体のLLM支出と信頼性を追跡できます。

6. はじめに

必要なものを見つける — プロバイダーガイド、ガードレール、フレームワーク統合の完全なドキュメントを参照してください:

https://portkey.ai/docs

インストールと実行 — ローカルでゲートウェイを試す最速の方法はnpxを使用することです（Node.jsが必要）:

npx @portkey-ai/gateway

これにより、ゲートウェイがhttp://localhost:8787/v1で起動し、コンソールがhttp://localhost:8787/public/で利用可能になります。Docker、Cloudflare Workers、Replit、マネージドPortkey Cloudデプロイも利用可能です。

貢献 — リポジトリをクローンし、「good first issue」タグの付いたイシューを確認し、プルリクエストを開いてください:

git clone https://github.com/Portkey-AI/gateway
npm install
npm run build

このプロジェクトでは、貢献者が直接関与できる毎週のAIエンジニアリングアワー（金曜日、午前8時PT）も開催されています。

7. プロジェクト構造

gateway/
├── src/          # コアゲートウェイソースコード（TypeScript）
├── plugins/      # ガードレールと統合プラグイン
├── docs/         # ドキュメントソース
├── cookbook/     # 使用例とチュートリアル
├── tests/        # テストスイート
├── patches/      # 依存関係パッチ
├── Dockerfile           # コンテナビルド定義
├── docker-compose.yaml  # マルチコンテナオーケストレーション
└── wrangler.toml         # Cloudflare Workersデプロイ設定

主要なエントリポイント: src/にはゲートウェイの中核を形成するリクエストルーティング、フォールバック、リトライロジックが含まれています。plugins/にはガードレールとサードパーティ統合が配置されています。cookbook/は、特定のプロバイダーやフレームワークに対するコピーペースト可能な例の最良の出発点です。

8. 関連エコシステム

上流の依存関係: OpenAI、Azure OpenAI、Google Gemini、Anthropic、Cohere、Mistral、Ollamaを含む50以上のLLMプロバイダー。ツール/サーバー統合のためのModel Context Protocol（MCP）。
デプロイプラットフォーム: Portkey Cloud（マネージド）、Docker、Node.js、Cloudflare Workers、Replit。
補完ツール: エージェントフレームワークのAutogen、CrewAI、LangChain、LlamaIndex、Phidata、Control Flow。Python、JavaScript、REST用のクライアントSDKに加え、既存のOpenAI SDKとのドロップイン互換性。

9. ライセンス

Portkey AI GatewayはMITライセンスの下でリリースされています。

✅ 個人または商用目的でソフトウェアを使用、変更、配布できます
✅ 独自製品を含む派生作品を作成および配布できます
✅ ライセンス料を支払うことなく本番環境で使用できます
❌ ソフトウェアの使用から生じる損害について著者または貢献者に責任を負わせることはできません
❌ 許可なくPortkeyの名前や商標を使用して公式の推奨を暗示することはできません
ℹ️ 再配布するコピーには元の著作権表示とライセンス文を保持する必要があります

10. よくある質問

Q: 既存のOpenAI SDKコードをPortkeyで使用できますか？
A: はい。ゲートウェイはOpenAI互換のAPIを公開しているため、既存のOpenAI SDK呼び出しを最小限の変更でゲートウェイエンドポイントに向けることができます。

Q: サポートしているプロバイダーとモデルの数は？
A: OpenAI、Azure OpenAI、Google Gemini、Anthropic、Cohere、Mistral、Ollamaを含む50以上のプロバイダーにわたる1,600以上のモデルをサポートしています。

Q: ローカルで試す最速の方法は？
A: npx @portkey-ai/gatewayを実行します。これにより、ゲートウェイがhttp://localhost:8787/v1でローカルコンソール付きで起動します。

Q: プロバイダーの障害を自動的に処理しますか？
A: はい。組み込みの自動フォールバック、指数バックオフ付きリトライ、負荷分散により、プロバイダーが失敗したりレート制限をかけたりしてもリクエストを成功させ続けます。

Q: MCP（Model Context Protocol）サーバーも管理できますか？
A: はい。MCPゲートウェイ機能を介して、標準のLLMルーティングに加えてModel Context Protocolサーバーを管理できます。

11. クイックリンク

リポジトリ: https://github.com/Portkey-AI/gateway
公式ドキュメント: https://portkey.ai/docs
貢献ガイド: https://github.com/Portkey-AI/gateway（CONTRIBUTING参照と「good first issue」ラベルを参照）
コミュニティ: リポジトリのREADMEからリンクされているDiscordとTwitter（@PortkeyAI）

12. まとめ

Portkey AI Gatewayは、1,600以上のLLMの前に単一の本番実証済みAPIを提供し、そうでなければすべてのアプリケーションで再構築されるであろう信頼性、セキュリティ、コストの問題を処理します。信頼性の高いマルチプロバイダーLLMルーティングを必要とする開発者やプラットフォーム/DevOpsチーム、そして集中管理されたガードレールとコンプライアンス制御を望むセキュリティ意識の高い組織に最適です。すべて寛容なMITライセンスの下で提供されます。