프라이빗 AI 서비스를 구축하는 팀에게 실제로 활용할 수 있는 처리 용량은 비즈니스 문제입니다. 배포 환경에서 얼마나 많은 작업을 처리할 수 있으며, 트래픽이 늘어나면 사용자는 응답을 얼마나 기다려야 할까요?
10월 DeepSeek V4.1 Flash 연구에서 업데이트한 서빙 구성은 GPU 2개와 동시 벤치마크 세션 32개라는 같은 조건에서 9월 22일 InferenceX MI325X 기준 기록보다 GPU당 출력 처리량이 60.1% 높았습니다. 동일한 머신의 당사 기준선과 비교한 개선 폭은 60.8%였습니다.
하드웨어 할당은 그대로였습니다. 기회는 서빙 소프트웨어가 하드웨어를 활용하는 방식에 있었습니다.
결과: 동일한 GPU 할당으로 더 많은 출력
| 구성 | 출력 처리량, 토큰/초/GPU |
|---|---|
| 공개 InferenceX MI325X 기준 기록 | 227.8 |
| ProsGrow 로컬 기준선 | 226.7 |
| ProsGrow 최적화 구성 | 364.6 |
DeepSeek V4.1 Flash, 모델 인스턴스 1개에 GPU 2개 할당, 동시 트레이스 세션 32개. 공개 기준 기록의 날짜는 2026년 9월 22일이며, ProsGrow의 로컬 측정은 10월 20일에 진행했습니다.
로컬 비교에서는 응답 시작 시간도 크게 달라졌습니다. 평균 첫 토큰 도착 시간이 4.70초에서 1.09초로 줄어 76.8% 감소했습니다. 1시간 벤치마크 동안 최적화한 실행은 프로파일링 요청 2,785개를 완료했으며, 기준선 실행은 1,896개를 완료했습니다.
이 지표들은 각각 출력 용량 증가, 생성 시작 전 대기 시간 감소, 처리 요청 수 증가라는 서로 다른 이점을 보여 줍니다. 완료된 요청은 벤치마크 요청이며, 완료된 고객 업무의 수를 뜻하지 않습니다.
프라이빗 AI 처리 용량에 주는 의미
어시스턴트는 여러 턴에 걸쳐 같은 문서, 지시 사항, 대화 이력을 다시 참조할 수 있습니다. 서빙 스택이 재사용할 수 있는 작업을 반복 처리하면, 사용 가능한 GPU 용량이 애플리케이션에 기여하는 유용한 작업량이 줄어듭니다.
이 결과는 추론 배포를 확장하기 전에 취할 수 있는 실용적인 단계를 제시합니다. 대표적인 트래픽으로 기존 시스템을 측정하고 서빙 구성을 평가하는 것입니다. 재사용 패턴이 비슷한 워크로드에서는 소프트웨어 변경으로 같은 GPU 할당 내에서 추가 용량을 확보할 수 있습니다.
이는 검토할 가치가 있는 추가 처리 여력입니다. 이를 요청당 비용으로 환산하려면 실제 호스팅 가격, 활용률, CPU 및 메모리 자원, 애플리케이션 품질 목표가 필요합니다. 이번 연구에서는 고객의 비용 절감을 측정하지 않았습니다.
개선 기회를 찾은 방법
ProsGrow는 업데이트한 오픈소스 서빙 스택과 에이전트 턴 사이에서 재사용 가능한 컨텍스트를 더 잘 활용하는 구성을 결합했습니다. 로컬 기준선을 설정하고 후보 구성을 평가한 뒤, 전체 벤치마크 실행을 비교했습니다.
이 작업은 DeepSeek와 vLLM ROCm 생태계를 기반으로 합니다. 당사의 기여는 배포 개선 기회를 찾고 구성을 통합하며 MI325X에서 동작을 측정한 것입니다. 로컬 기준선 대비 60.8% 향상은 소프트웨어와 구성 업데이트를 함께 적용한 결과입니다.
이는 이전 DeepSeek 지연 시간 연구의 워크로드 중심 접근을 확장한 것입니다. 이전 연구와 이번 10월 측정은 별도 실험이며, 개선율을 합산해서는 안 됩니다.
측정 참고 사항
이 결과는 기록된 에이전트 트레이스, 1시간 예약 실행, 추측 디코딩 수락 시뮬레이션을 포함하는 보관된 InferenceX AgentX 프로토콜을 사용한 ProsGrow의 로컬 엔지니어링 결과입니다. 시뮬레이션은 성능 테스트 조건을 통제하며, 프로덕션 응답에는 실제 검증과 별도의 검증 절차가 필요합니다. 처리량은 트레이스의 대기 시간을 포함한 관측 요청 구간에서 생성된 출력으로 계산합니다.
제목은 당사 측정값을 날짜가 명시된 공개 기준 실행과 비교하며, 해당 기록은 10월 19일 스냅샷의 행 442868로 보관했습니다. 최신 InferenceX 순위를 주장하는 것이 아닙니다. 로컬 전후 실행 쌍은 동일 머신 비교를 제공합니다. 여기 제시한 각 로컬 구성은 정식 실행 1회이며 신뢰 구간은 없습니다.
별도의 소규모 품질 검사는 다른 GPU 할당과 동시성을 사용했습니다. 따라서 GPU 2개·세션 32개인 이 구성의 품질을 입증하지는 않습니다. 고객 업무의 품질과 실제 서빙 응답 시간은 프로덕션 적합성 검증에 포함돼야 합니다.
현재 배포에 남아 있는 처리 용량 찾기
ProsGrow는 요청 구성, 트래픽, 응답 시간 목표, 인프라 예산에 맞춰 프라이빗 DeepSeek 호스팅을 평가하도록 도울 수 있습니다. 측정한 기준선에서 시작해 적합한 서빙 구성으로 어느 정도의 처리 여력을 확보할 수 있는지 테스트하세요.