Portkey AI Gateway: 통합 LLM 라우팅

1. 프로젝트 개요

Portkey AI Gateway는 개발자가 단일 통합 API를 통해 50개 이상의 제공업체에 걸쳐 1,600개 이상의 LLM에 요청을 라우팅할 수 있게 해주는 오픈소스 초고속 AI 게이트웨이입니다. 애플리케이션 코드를 변경하지 않고도 자동 안정성, 보안 가드레일, 비용 제어 기능을 추가할 수 있습니다.

2. 배경 및 포지셔닝

Portkey는 LLM을 기반으로 구축하는 모든 팀이 결국 마주치는 문제를 해결하기 위해 만들어졌습니다. 제공업체 API가 일관되지 않고, 개별 제공업체가 예측 불가능하게 다운되거나 속도 제한을 걸며, 수십 개의 모델에 걸쳐 보안, 예산, 규정 준수 정책을 적용할 단일 지점이 없다는 문제입니다. 이 프로젝트의 핵심 사명은 LLM 제공업체 간 전환, 결합 또는 폴백을 헤더 하나를 바꾸는 것처럼 간단하게 만드는 것입니다. 프로덕션 등급의 안정성과 안전이 나중에 덧붙이는 방식이 아니라 처음부터 내장되어 있습니다. 프로덕션에서 이 게이트웨이는 이미 하루에 100억 개 이상의 토큰을 처리하고 있습니다.

일반 API 프록시나 단일 제공업체 SDK 래퍼와 차별화되는 점은 다음과 같습니다.

범용 API 표면 — 50개 이상의 제공업체에서 제공하는 1,600개 이상의 모델 앞에 OpenAI 호환 인터페이스 하나를 두어 제공업체 전환은 재작성이 아닌 구성 변경으로 처리됩니다.
내장된 안정성 엔지니어링 — 자동 폴백, 지수 백오프 재시도, 로드 밸런싱, 타임아웃은 각 애플리케이션 팀이 다시 구현해야 하는 것이 아니라 게이트웨이의 기본 동작입니다.
일급 시민으로서의 가드레일 — 50개 이상의 사전 구축된 입력/출력 가드레일이 외부의 부가적인 중재 서비스가 아닌 요청 경로에 인라인으로 실행됩니다.
배포 유연성 — 동일한 게이트웨이가 관리형 클라우드 서비스, 자체 호스팅 Docker/Node.js 인스턴스 또는 Cloudflare Workers의 엣지 배포로 실행됩니다.

3. 기능 카테고리

🔀 안정적인 라우팅

개별 제공업체가 실패하더라도 요청이 계속 성공하도록 유지합니다.

제공업체 및 모델 간 자동 폴백
지수 백오프 재시도(최대 5회)
여러 제공업체 및 API 키 간 로드 밸런싱
요청 타임아웃 관리
멀티모달 및 Realtime API(웹소켓) 지원
목적: 제공업체 중단, 속도 제한, 지연 시간 급증을 호출 애플리케이션이 인지하지 못하도록 흡수합니다.

🛡️ 보안 및 가드레일

모든 요청에 대한 인라인 검사 및 접근 제어.

입력 및 출력 검증을 위한 40개 이상의 사전 구축 가드레일
세분화된 권한이 있는 역할 기반 접근 제어
안전한 자격 증명 처리를 위한 가상 키 관리
SOC2, HIPAA, GDPR, CCPA에 부합하는 규정 준수 제어
목적: 콘텐츠, 안전, 접근 정책을 애플리케이션별이 아닌 중앙에서 적용합니다.

💰 비용 관리

LLM 지출에 대한 가시성과 절감 효과.

단순 및 의미론적 응답 캐싱
사용량 분석 및 요청별 모니터링
제공업체 간 비용 최적화 및 비교
목적: 중복 API 지출을 줄이고 팀에게 LLM 사용이 실제로 얼마나 드는지 실시간으로 파악할 수 있게 합니다.

🤝 협업 및 통합

팀이 이미 에이전트를 구축할 때 사용하는 도구에 게이트웨이를 연결합니다.

에이전트 프레임워크 통합: Autogen, CrewAI, LangChain, LlamaIndex, Phidata, Control Flow
프롬프트 템플릿 관리
Model Context Protocol 서버 관리를 위한 MCP 게이트웨이
목적: 어떤 에이전트 프레임워크나 프로토콜 위에서 구축하든 팀이 Portkey를 라우팅 계층으로 표준화할 수 있게 합니다.

4. 주요 하이라이트

하나의 API 뒤에 1,600개 이상의 모델 — 코드 변경이 아닌 구성을 통해 제공업체를 전환하거나 결합할 수 있습니다.
프로덕션에서 하루 100억 개 이상의 토큰 처리 — 라우팅 및 안정성 로직이 실제 프로덕션 규모에서 검증되었습니다.
50개 이상의 인라인 가드레일 — 안전 및 규정 준수 검사가 사후가 아닌 요청 경로에서 실행됩니다.
2분 미만의 통합 시간 — 새 제공업체나 모델을 거의 즉시 연결할 수 있도록 설계되었습니다.
다중 배포 모드 — 관리형 클라우드, 자체 호스팅 Docker/Node.js 또는 엣지의 Cloudflare Workers.
MCP 게이트웨이 지원 — 기존 LLM 라우팅과 함께 Model Context Protocol 서버를 일급으로 관리합니다.

5. 역할별 사용 사례

일반 개발자 — 기존 OpenAI SDK 기반 코드를 게이트웨이의 OpenAI 호환 엔드포인트로 지정하여 최소한의 코드 변경으로 폴백, 재시도, 캐싱을 즉시 얻을 수 있습니다.

DevOps/SRE — Docker 또는 Cloudflare Workers를 통해 게이트웨이를 배포하여 LLM 트래픽 앞에 탄력적인 라우팅 계층을 추가하고, 로드 밸런싱과 자동 장애 조치로 제공업체 중단으로 인한 온콜 사고를 줄일 수 있습니다.

보안 엔지니어 — 40개 이상의 가드레일, 역할 기반 접근 제어, 가상 키 관리를 구성하여 모든 LLM 트래픽에 입력/출력 정책과 SOC2/HIPAA/GDPR/CCPA에 부합하는 제어를 중앙에서 적용할 수 있습니다.

데이터/연구 과학자 — 의미론적 캐싱과 사용량 분석을 사용하여 실험 비용을 통제하면서 동일한 인터페이스를 통해 여러 제공업체/모델의 출력을 비교할 수 있습니다.

프로젝트 관리자 — 내장된 사용량 분석 및 비용 모니터링 대시보드를 사용하여 각 통합을 개별적으로 건드리지 않고도 팀 전체의 LLM 지출과 안정성을 추적할 수 있습니다.

6. 시작하기

필요한 것 찾기 — 제공업체 가이드, 가드레일, 프레임워크 통합에 대한 전체 문서를 살펴보세요.

https://portkey.ai/docs

설치 및 실행 — 게이트웨이를 로컬에서 가장 빠르게 시도하는 방법은 npx를 사용하는 것입니다(Node.js 필요).

npx @portkey-ai/gateway

이렇게 하면 http://localhost:8787/v1에서 게이트웨이가 시작되고 http://localhost:8787/public/에서 콘솔을 사용할 수 있습니다. Docker, Cloudflare Workers, Replit 및 관리형 Portkey Cloud 배포도 사용할 수 있습니다.

기여하기 — 저장소를 클론하고 "good first issue" 태그가 붙은 이슈를 확인한 후 풀 리퀘스트를 열어주세요.

git clone https://github.com/Portkey-AI/gateway
npm install
npm run build

이 프로젝트는 또한 기여자들이 직접 참여할 수 있도록 매주 AI 엔지니어링 아워(금요일 오전 8시 PT)를 운영합니다.

7. 프로젝트 구조

gateway/
├── src/          # 핵심 게이트웨이 소스 코드(TypeScript)
├── plugins/      # 가드레일 및 통합 플러그인
├── docs/         # 문서 소스
├── cookbook/     # 사용 예제 및 튜토리얼
├── tests/        # 테스트 스위트
├── patches/      # 의존성 패치
├── Dockerfile           # 컨테이너 빌드 정의
├── docker-compose.yaml  # 멀티 컨테이너 오케스트레이션
└── wrangler.toml         # Cloudflare Workers 배포 구성

주요 진입점: src/에는 게이트웨이 핵심을 구성하는 요청 라우팅, 폴백, 재시도 로직이 포함되어 있습니다. plugins/에는 가드레일과 타사 통합이 있습니다. cookbook/은 특정 제공업체나 프레임워크에 대한 복사-붙여넣기 가능한 예제를 위한 가장 좋은 시작점입니다.

8. 관련 생태계

업스트림 의존성: OpenAI, Azure OpenAI, Google Gemini, Anthropic, Cohere, Mistral, Ollama를 포함한 50개 이상의 LLM 제공업체; 도구/서버 통합을 위한 Model Context Protocol(MCP).
배포 플랫폼: Portkey Cloud(관리형), Docker, Node.js, Cloudflare Workers, Replit.
보완 도구: 에이전트 프레임워크 Autogen, CrewAI, LangChain, LlamaIndex, Phidata, Control Flow; Python, JavaScript, REST용 클라이언트 SDK 및 기존 OpenAI SDK와의 드롭인 호환성.

9. 라이선스

Portkey AI Gateway는 MIT 라이선스로 배포됩니다.

✅ 개인 또는 상업적 목적으로 소프트웨어를 사용, 수정, 배포할 수 있습니다.
✅ 독점 제품을 포함한 파생 저작물을 만들고 배포할 수 있습니다.
✅ 라이선스 비용을 지불하지 않고 프로덕션에서 사용할 수 있습니다.
❌ 소프트웨어 사용으로 인해 발생하는 손해에 대해 저자나 기여자에게 책임을 물을 수 없습니다.
❌ 공식 승인을 암시하기 위해 Portkey 이름이나 상표를 허가 없이 사용할 수 없습니다.

10. FAQ

Q: 기존 OpenAI SDK 코드를 Portkey와 함께 사용할 수 있나요?
A: 네. 게이트웨이는 OpenAI 호환 API를 제공하므로 기존 OpenAI SDK 호출을 최소한의 변경으로 게이트웨이 엔드포인트에 지정할 수 있습니다.

Q: 지원하는 제공업체와 모델 수는 얼마나 되나요?
A: OpenAI, Azure OpenAI, Google Gemini, Anthropic, Cohere, Mistral, Ollama를 포함한 50개 이상의 제공업체에서 1,600개 이상의 모델을 지원합니다.

Q: 로컬에서 가장 빠르게 시도하는 방법은 무엇인가요?
A: npx @portkey-ai/gateway를 실행하면 http://localhost:8787/v1에서 게이트웨이가 시작되고 로컬 콘솔이 제공됩니다.

Q: 제공업체 중단을 자동으로 처리하나요?
A: 네. 내장된 자동 폴백, 지수 백오프 재시도, 로드 밸런싱을 통해 제공업체가 실패하거나 속도 제한을 걸어도 요청이 계속 성공합니다.

Q: MCP(Model Context Protocol) 서버도 관리할 수 있나요?
A: 네. MCP 게이트웨이 기능을 통해 표준 LLM 라우팅과 함께 Model Context Protocol 서버를 관리할 수 있습니다.

11. 빠른 링크

저장소: https://github.com/Portkey-AI/gateway
공식 문서: https://portkey.ai/docs
기여 가이드: https://github.com/Portkey-AI/gateway(CONTRIBUTING 참조 및 "good first issue" 라벨 확인)
커뮤니티: 저장소 README에 링크된 Discord 및 Twitter(@PortkeyAI)

12. 요약

Portkey AI Gateway는 팀에게 1,600개 이상의 LLM 앞에 단일하고 프로덕션에서 검증된 API를 제공하여, 그렇지 않으면 모든 애플리케이션이 다시 구축해야 했을 안정성, 보안, 비용 문제를 처리합니다. 안정적인 다중 제공업체 LLM 라우팅이 필요한 개발자와 플랫폼/DevOps 팀, 그리고 중앙 집중식 가드레일과 규정 준수 제어를 원하는 보안 중시 조직에 가장 적합합니다. 모두 허용적인 MIT 라이선스 하에 제공됩니다.