수록 현황:261 건의 뉴스/91 개의 AI 도구/372 개의 오픈소스 프로젝트/64 개의 학습 자료
홈뉴스오픈소스모델AI 도구학습 자료
홈 / 오픈소스 / OmniRoute

OmniRoute

OmniRoute는 스마트 라우팅, 페일오버 및 토큰 압축 기능을 갖춘 단일 OpenAI 호환 엔드포인트 뒤에서 290개 이상의 제공업체와 500개 이상의 모델을 통합하는 무료 셀프 호스팅 AI 게이트웨이입니다.

TypeScriptMITDeploy & Inference
⭐ GitHubhttps://github.com/diegosouzapw/OmniRoute
32,726
스타 수
+0
스타 증가율
Jul 28, 2026
최근 업데이트
2
클릭 수

1. 프로젝트 개요

OmniRoute는 무료 MIT 라이선스의 셀프 호스팅 AI 게이트웨이로, 단일 OpenAI 호환 엔드포인트 뒤에서 290개 이상의 AI 제공업체와 500개 이상의 모델에 대한 액세스를 통합하여 LLM을 활용한 개발 시 별도의 API 키, 속도 제한 및 제공업체 장애를 관리해야 하는 번거로움을 해결합니다.

2. 배경 및 포지셔닝

OmniRoute는 개발자가 가장 좋아하는 모델이 속도 제한에 걸리거나, 무료 할당량이 소진되거나, 완전히 다운되더라도 "코딩을 멈추지 않을" 수 있도록 만들기 위해 탄생했습니다. 애플리케이션을 단일 제공업체에 하드코딩하는 대신, 개발자는 자신의 도구를 OmniRoute의 로컬 엔드포인트로 한 번만 연결하면 되며, 게이트웨이가 백그라운드에서 제공업체 선택, 페일오버 및 비용 최적화를 처리합니다.

OpenRouter나 LiteLLM과 유사한 게이트웨이 프로젝트와 비교할 때, OmniRoute는 다음과 같은 점에서 차별화됩니다:

  • 훨씬 더 방대한 무료 티어 제공업체 카탈로그 (무비용 액세스를 제공하는 90개 이상의 제공업체, 월간 약 15억 3천만 개의 무료 토큰 추적)
  • 로컬 우선 아키텍처 — 트래픽을 서드파티 SaaS를 통해 라우팅하는 대신, 기본적으로 클라우드 텔레메트리 없이 개발자의 자체 머신에서 완전히 실행됩니다.
  • 라우팅 및 폴백 위에 요청 비용을 절감하는 내장 토큰 압축 파이프라인
  • REST API 외에도 에이전트 프로토콜(MCP, A2A)을 네이티브로 지원하여, 인간 개발자와 자율 코딩 에이전트 모두를 위한 인프라로 포지셔닝

3. 기능 카테고리

🔀 스마트 라우팅 — 19가지 전략, 3-5가지 예시: 우선순위 라우팅, 가중치 라우팅, 비용 최적화 라우팅, "마지막으로 확인된 정상 경로" 라우팅 및 "자동" 조합 모드. 목적: 각 요청에 대해 사용 가능한 최적의 제공업체를 자동으로 선택합니다.

🛡️ 복원력 및 페일오버 — 3계층 시스템, 예시: 제공업체별 서킷 브레이커, 실패 시 자동 재시도, 할당량 인식 폴백, 상태 기반 라우팅, 원격 VPS 페일오버 모드. 목적: 개별 제공업체가 속도 제한을 적용하거나 다운되더라도 요청이 성공하도록 유지합니다.

🗜️ 토큰 압축 — 12엔진 파이프라인, 예시: RTK(도구 결과 필터링), Caveman(산문 압축), LLMLingua-2(의미론적 가지치기), 코드/URL/JSON 보존 규칙. 목적: 구조화된 콘텐츠를 손상시키지 않으면서 토큰 사용량을 15~95%(평균 약 89%) 절감합니다.

🔌 프로토콜 및 통합 지원 — 4가지 주요 인터페이스, 예시: OpenAI 호환 REST API, MCP 서버(104개 도구), A2A 프로토콜, 웹훅, 80개 이상의 CLI 명령어. 목적: 인간이 사용하는 IDE와 자율 에이전트 모두 동일한 방식으로 게이트웨이와 통신할 수 있도록 합니다.

🤝 코딩 에이전트 호환성 — 33개 이상의 지원 도구, 예시: Claude Code, Cursor, Cline, Continue, GitHub Copilot, OpenCode. 목적: 기존 에이전트 도구가 수정 없이 작동하도록 드롭인 대체 엔드포인트를 제공합니다.

4. 주요 하이라이트

  • 단일 엔드포인트 뒤의 290개 이상의 제공업체, 500개 이상의 모델 — Claude, GPT, Gemini, DeepSeek, GLM, Kimi 및 MiniMax를 포함하며, 수십 개의 별도 API 키를 관리할 필요 없이 접근할 수 있습니다.
  • 90개 이상의 무료 제공업체, 월간 약 15억 3천만 개의 무료 토큰 추적 — 기계 판독 가능하고 정기적으로 재감사되는 무비용 티어 카탈로그로, 약 2주마다 새로 고쳐집니다.
  • 12엔진 토큰 압축 — 코드, URL 및 JSON 구조를 명시적으로 보존하면서 요청/응답 페이로드를 축소하여 모든 호출의 비용을 절감합니다.
  • 3계층 서킷 브레이커 복원력 — 장애가 발생한 제공업체를 자동으로 감지하고 트래픽을 재라우팅하여, 단일 제공업체의 장애가 개발을 중단시키지 않습니다.
  • 로컬 우선, 제로 텔레메트리 설계 — 게이트웨이와 암호화(AES-256-GCM)된 자격 증명 저장소는 사용자의 자체 머신이나 셀프 호스팅 서버에서 완전히 실행됩니다.
  • 에이전트 네이티브 프로토콜 — REST API와 함께 일급 MCP 서버 및 A2A 프로토콜 지원을 제공하여, 성장하는 자율 코딩 에이전트 생태계를 위해 구축되었습니다.

5. 역할별 사용 사례

일반 개발자 — OpenAI 호환 IDE나 CLI 도구를 http://localhost:20128/v1로 지정하고 auto 모델을 사용하면, 통합 코드를 다시 작성하지 않고도 무료 및 유료 제공업체에 걸쳐 자동 폴백을 받을 수 있습니다.

DevOps/SRE — Docker를 통해 OmniRoute를 배포하거나 범위가 지정된 원격 토큰이 있는 VPS 호스팅 인스턴스로 배포하여, 팀 전체의 LLM 사용량, 할당량 및 제공업체 상태를 중앙 집중화하고 모니터링합니다.

프로젝트 매니저 — 할당량 풀링과 공정한 공유 분배를 사용하여, 모든 팀원이 개별 제공업체 계정을 가질 필요 없이 팀 전체의 AI 지출을 제어하고 추적합니다.

6. 시작하기

필요한 것 찾기 — 저장소의 /docs 디렉토리에서 무료 티어 제공업체 카탈로그 및 비교 문서를 탐색하거나, 아키텍처 및 가이드는 Wiki를 확인하세요.

설치 / 통합:

npm install -g omniroute
omniroute

또는 Docker를 통한 설치:

docker run -d --name omniroute -p 127.0.0.1:20128:20128 diegosouzapw/omniroute

그런 다음 OpenAI 호환 클라이언트를 http://localhost:20128/v1로 지정합니다.

기여하기:

git clone https://github.com/diegosouzapw/OmniRoute.git
cd OmniRoute
npm install && npm run dev

프로젝트의 기여 가이드라인에 따라 풀 리퀘스트를 엽니다.

7. 프로젝트 구조

OmniRoute/
├── src/         # 핵심 게이트웨이, 라우팅 엔진, 압축 파이프라인
├── public/      # 대시보드 에셋 및 제공업체 아이콘
├── docs/        # 가이드: Docker, 압축, 제공업체, 보안
├── tests/       # 자동화된 테스트 스위트
├── electron/    # 네이티브 데스크톱 앱 (Windows/macOS/Linux)
└── examples/    # 코딩 에이전트 및 IDE 통합 예시

src/는 게이트웨이의 핵심인 라우팅 및 압축 로직을 포함하며, docs/는 프로젝트 전반에 걸쳐 참조되는 지속적으로 업데이트되는 무료 티어 제공업체 카탈로그를 포함합니다.

8. 관련 생태계

  • 업스트림 종속성: 라우팅 대상인 290개 이상의 AI 제공업체(OpenAI, Anthropic, Google, Moonshot AI/Kimi, DeepSeek 및 다수의 무료 티어 서비스)와 기본 애플리케이션 프레임워크인 Next.js.
  • 보완적 도구: Claude Code, Cursor, Cline, Continue, OpenCode 및 GitHub Copilot과 같은 코딩 에이전트 및 IDE로, OmniRoute를 모델 백엔드로 연결합니다.
  • 비교 가능한 프로젝트: 유사한 다중 제공업체 라우팅 요구 사항을 해결하는 OpenRouter 및 LiteLLM.

9. 라이선스

✅ 사용, 셀프 호스팅, 수정 및 배포 자유 (MIT 라이선스)
✅ 상업적 사용 허용
❌ 작성자가 제공하는 보증 없음
ℹ️ 소프트웨어 사본에 원본 저작권 및 라이선스 고지 유지 필요

10. FAQ

Q: OmniRoute가 내 API 키나 트래픽을 서드파티 클라우드 서비스로 전송하나요?
A: 아니요 — 기본적으로 클라우드 텔레메트리가 없고 암호화된 로컬 자격 증명 저장소를 사용하여 자체 머신이나 서버에서 실행되는 로컬 우선 게이트웨이로 설계되었습니다.

Q: OmniRoute를 사용하려면 비용을 지불해야 하나요?
A: OmniRoute 자체는 무료이며 MIT 라이선스입니다. 또한 90개 이상의 제공업체 무료 티어를 큐레이션하므로 유료 API 키 없이도 시작할 수 있습니다.

Q: OmniRoute와 함께 어떤 코딩 도구를 사용할 수 있나요?
A: Claude Code, Cursor, Cline, Continue, OpenCode 및 GitHub Copilot을 포함하여 모든 OpenAI 호환 클라이언트가 기본적으로 작동하며, 33개 이상의 도구가 명시적으로 지원됩니다.

Q: "auto" 모델은 어떻게 작동하나요?
A: 모델을 auto로 설정하면 OmniRoute가 라우팅 전략, 할당량 및 상태를 기반으로 최적의 제공업체를 동적으로 선택하며, 제공업체가 실패할 경우 자동으로 폴백합니다.

Q: 토큰 압축으로 실제로 얼마나 절약할 수 있나요?
A: 이 프로젝트는 콘텐츠 유형에 따라 약 15~95%의 절감 효과를 문서화하고 있으며, 평균 약 89%에 달합니다. 이는 코드, URL 및 JSON을 항상 보존하는 12단계 압축 파이프라인을 통해 달성됩니다.

11. 빠른 링크

12. 요약

OmniRoute는 개발자에게 수백 개의 AI 제공업체와 모델에 대한 단일 셀프 호스팅 게이트웨이를 제공하여, 여러 API 키를 관리하는 운영 오버헤드와 모든 요청의 토큰 비용을 모두 절감합니다. AI 코딩 에이전트에 의존하며 제공업체의 속도 제한 및 장애에 대한 복원력을 원하면서도 자격 증명이나 트래픽에 대한 제어권을 포기하고 싶지 않은 개별 개발자와 팀에게 가장 적합합니다.