DeepSeek, DeepInfer 공개: 하루 155조 토큰을 처리하는 엔진, 캐시와 로드 밸런싱은 제외

뉴스 요약

DeepSeek가 자사 모델을 프로덕션 환경에서 서빙하는 데 사용하는 사내 추론 프레임워크 DeepInfer와, 회사의 공식 API와 정확히 동일하게 텍스트를 토큰으로 변환하고 다시 되돌리는 보조 라이브러리 deepseek-recipe를 완전히 오픈소스로 공개했다. 이 발표는 2026년 10월 20일 화요일 X에 게시되었으며(The Next Web은 보도 시각을 UTC 기준 오후 2시 8분, 미 동부 시간 기준 오전 10시 8분경으로 기록), 코드는 Apache 2.0 라이선스로 GitHub에 공개되었다.

DeepSeek가 공개한 것

DeepInfer는 GitHub 저장소 deepseek-ai/DeepInfer에 있다. DeepSeek는 X에서 "사내 추론 프레임워크 DeepInfer를 소개합니다. 이제 완전한 오픈소스입니다!"라는 문구와 함께 이를 소개했고, 그 목적을 "높은 처리량과 낮은 지연 시간으로 DeepSeek-V4.1-Flash를 대규모로 구동하는 것"이라고 설명했다.

추론 프레임워크는 학습된 모델을 실제 사용자를 위해 실행하는 소프트웨어 계층이다. 요청을 어떻게 일괄 처리할지, 작업을 여러 칩에 어떻게 분산할지, 각 토큰을 얼마나 빨리 생성할지 결정한다. SiliconANGLE은 10월 20일 미 동부 시간 기준 오후 7시 11분에 업데이트된 보도에서, DeepSeek가 대규모 사용자에게 대형 모델을 서빙하는 비용을 "추론 프레임워크가 해결해야 할 핵심 문제"라고 부른다고 전했다.

이 저장소에는 DeepSeek 모델을 위한 최적화 코드, 여러 가속기에 작업을 분산하는 도구, 추측적 디코딩, 실행마다 출력을 동일하게 유지하는 기능, 구조화된 출력과 같은 정해진 형식으로 답변을 강제하는 지원이 포함되어 있다. DeepSeek는 향후 모델을 위한 추론 코드도 같은 저장소에 추가될 것이라고 밝혔다.

deepseek-recipe 보조 라이브러리

deepseek-recipe는 프레임워크와 함께 공개되었다. DeepSeek의 공식 API와 동일한 로직을 사용하여 들어오는 요청을 토큰 시퀀스로 변환한다. 목표는 일관성이다. DeepSeek 모델을 자체 호스팅하는 팀도 호스팅 서비스 사용자가 받는 것과 동일한 토크나이제이션 및 요청 처리 동작을 확인할 수 있어야 한다. 한 기술 블로그에서는 이 라이브러리가 Rust로 작성되었고 Python 바인딩을 제공한다고 설명했지만, 이 세부 사항은 단일 출처에서 나온 것이다.

지원 모델 및 하드웨어

현재 DeepInfer는 9월에 출시된 단일 모델인 DeepSeek-V4.1-Flash만 지원한다. 기본적으로 10월 18일 주말에 공개된 업데이트 버전인 "1017"을 로드한다.

지원 하드웨어로는 Nvidia SM100(Blackwell) 데이터센터 GPU와 Huawei Ascend 950 NPU가 있다. Hopper 및 그 이전 Nvidia 세대는 목록에 없다. 재현 가능한 출력 기능 중 두 가지는 현재 Nvidia 하드웨어에서만 작동하며, DeepSeek가 공개한 모든 벤치마크는 Nvidia 칩에서 실행되었다. Ascend 지원은 9월 30일 TileLang 커널 언어를 Huawei 칩에 도입한 릴리스에 이은 것이다.

기술적 하이라이트

SiliconANGLE은 릴리스에 설명된 두 가지 효율화 기법을 자세히 다루었다.

• 추측적 디코딩(DSpark): 소형 초안 모델이 한 번에 다섯 개의 토큰을 제안하고, 신뢰도 헤드가 메인 모델이 수용할 가능성이 높은 토큰을 예측한다. 검증 연산은 가장 유력한 후보에만 사용되므로 단계마다 확인하는 초안 토큰 수가 약 30% 줄어든다. DeepSeek는 프로덕션 부하에서 4%에서 7%의 처리량 향상을 추정한다.
• 축소된 프리필: 각 프롬프트의 마지막 128개 토큰만 모델의 디코더 레이어를 통과하며, DeepSeek는 이를 통해 전체 프리필 연산이 거의 절반으로 줄어든다고 밝혔다.

코드와 함께 공개된 배포 Q&A에 따르면 한 클러스터가 하루 155조 토큰을 처리하며, 비피크 시간대 수익은 GPU당 시간당 약 38달러로 계산된다. 이는 DeepSeek 자체 수치이며 독립적으로 검증되지 않았다. 보도에서는 지원 기능 중 하나로 SWA Bounded Replay도 언급했다.

포함되지 않은 것

이번 릴리스는 완전한 서빙 스택이 아니다. 키-값 캐시 관리와 로드 밸런싱 코드는 공개되지 않았는데, DeepSeek는 이것들이 내부 인프라와 긴밀하게 결합되어 있다고 설명한다. 한 Zhihu 블로그 게시물이 두 기능의 작동 방식을 설명하고 있다. 프롬프트 처리(프리필)와 답변 생성(디코드)을 별도 머신에 분리하는 것은 운영자에게 맡겨져 있지만, README에는 이를 위해 필요한 엔진 작업 대부분이 이미 마련되어 있다고 명시되어 있다.

DeepSeek가 효율적이라고 설명하는 최소 배포 규모는 프리필용 GPU 64개와 디코딩용 GPU 64개를 사용한다. The Next Web에 따르면 벤치마크 설정은 프롬프트 처리에 SM100 GPU 4개, 출력 생성에 64개를 사용했다. Bloomberg는 아직 독립적인 벤치마크가 존재하지 않는다고 지적했다.

계보와 커뮤니티 반응

새 README는 vLLM을 DeepInfer의 원래 기반으로 명시하고, SGLang과 Nvidia의 TensorRT-LLM에서도 영향을 받았다고 밝혔다. 또한 DeepSeek가 앞서 공개한 커널 라이브러리인 FlashMLA, DeepGEMM, DeepEP를 기반으로 한다. 이는 2025년 4월 DeepSeek가 자사의 전체 추론 엔진이 클러스터 관리 도구와 얽힌 초기 vLLM 포크이며, 대규모 오픈소스 프로젝트를 유지하는 것은 소규모 연구팀의 역량을 벗어난다고 밝힌 것에서 변화한 것이다.

반응은 빨랐다. 화요일 오후까지 저장소는 GitHub 스타 8,000개를 넘었고, vLLM 프로젝트는 공개적으로 DeepSeek에 감사를 표하며 DeepInfer의 아이디어를 자체 V4.1-Flash 지원에 적용하겠다고 밝혔다. 일부 중국어 보도는 오픈소스 공개 시점을 다르게 표기하고 이번 릴리스를 오프라인 추론 버전으로 설명했기 때문에, 저장소가 발전함에 따라 세부 사항이 다듬어질 수 있다.

개발자에게 중요한 이유

연구자와 엔지니어에게 DeepInfer는 주요 모델 제공업체가 추측적 디코딩부터 프리필 절감까지 어떻게 대규모로 모델을 서빙하는지 드물게 엿볼 수 있는 기회를 제공한다. 클라우드 제공업체와 자체 호스팅 기업은 이러한 방식을 도입하여 서빙 비용을 줄일 수 있다. The Next Web은 또한 오픈 웨이트 모델이 Vercel의 AI Gateway 지출의 23%를 차지한다고 언급했는데, 이는 투명하고 자체 배포 가능한 AI 인프라에 대한 수요가 얼마나 큰지 보여주는 신호다.

출처: SiliconANGLE, The Next Web, IT之家를 포함한 중국어 보도.