AI 어시스턴트와 작업할 때는 응답이 나오는 속도가 중요합니다. 스트리밍 속도가 빨라지면 설명을 따라가거나 생성된 코드를 검토하고 다음 질문을 결정하기가 더 수월해질 수 있습니다.
10월에 진행한 DeepSeek V4.1 Flash 연구에서 ProsGrow는 MI325X GPU 4개로 디코딩 응답 속도 중앙값 492.6 토큰/초/사용자를 측정했습니다. GPU 4개와 단일 세션이라는 조건이 같은 InferenceX의 공개 H200 기준 기록은 332.2였습니다. 당사 결과는 48.3% 높았습니다.
이 결과는 아직 평가 중인 벤치마크 결과로, 해당 구성의 로컬 품질 평가는 완료되지 않았습니다. 대화형 DeepSeek 워크로드에 AMD를 검토할 근거를 제공하지만, 프로덕션 적용을 위한 검증은 추가로 필요합니다.
제목을 뒷받침하는 수치
| 지표 | 공개 H200 기준 기록 | MI325X에서의 ProsGrow | 차이 |
|---|---|---|---|
| 디코딩 응답 속도 중앙값, 토큰/초/사용자 | 332.2 | 492.6 | +48.3% |
| 출력 처리량, 토큰/초/GPU | 37.45 | 42.83 | +14.4% |
DeepSeek V4.1 Flash, 모델에 할당한 GPU 4개, 동시 세션 1개. H200 기준 기록: 2026년 9월 21일. ProsGrow 측정: 2026년 10월 20일.
디코딩 응답 속도는 응답이 시작된 뒤 토큰이 생성되는 속도를 측정합니다. 출력 처리량은 턴 사이의 대기 시간을 포함한 벤치마크 요청 구간에서 전달한 출력량을 측정합니다. 따라서 제목의 48.3%는 스트리밍 응답 속도를 뜻하며, 전체 응답이나 업무가 48.3% 더 빨리 끝났다는 의미가 아닙니다.
선택한 기준 기록보다 두 지표 모두 개선됐지만, 개선 폭은 서로 달랐습니다.
평가해 볼 만한 AMD 배포 옵션
프라이빗 코딩 어시스턴트, 문서 도구, 대화형 애플리케이션을 계획하는 팀에게 이 결과는 평가할 가치가 있는 인프라 선택지를 넓혀 줍니다. 모델과 워크로드, 서빙 소프트웨어에 따라 GPU 배포에서 얻을 수 있는 성능은 크게 달라질 수 있습니다.
상업적 기회는 애플리케이션에 필요한 사용 경험을 기준으로 인프라를 선택하는 데 있습니다. 지연 시간에 민감한 소수의 세션에 최적화한 서비스와 다수의 동시 요청을 처리하도록 설계한 서비스는 서로 다른 구성을 선택할 수 있습니다.
단일 세션 결과를 다른 동시성 수준으로 확대 해석해서는 안 됩니다. 당사가 테스트한 8개 세션 구성은 여전히 해당 공개 H200 기준 기록에 못 미쳤습니다. 이 결과는 특정 배포 결정을 뒷받침하며, 한 GPU가 모든 워크로드에서 우세하다는 주장이 아닙니다.
ProsGrow가 변경한 점
생성 중 오버헤드를 줄이는 공개 vLLM ROCm 서빙 스택의 개선 사항을 통합하고 평가했습니다. ProsGrow는 적합한 구성을 선택하고, 로컬 대조군과 비교하며, 기록된 에이전트 워크로드로 측정하는 데 집중했습니다.
기반 구현은 업스트림 vLLM 커뮤니티에서 제공했습니다. 이 기능을 실제 배포 옵션으로 활용하려면 어떤 경우에 도움이 되는지, 어떤 하드웨어가 지원하는지, 어떤 검증이 아직 남았는지를 이해해야 합니다.
제목 뒤에는 이러한 작업이 있습니다. 소프트웨어 기능을 특정 워크로드에 연결하고 결과를 측정하는 것입니다.
측정 참고 사항
H200 수치는 공개 InferenceX 실행에서 가져왔으며, 10월 19일 스냅샷의 행 442749로 보관했습니다. 서로 다른 호스트와 소프트웨어 구성의 과거 기준 기록을 비교한 것으로, 하드웨어만 바꾼 동시 테스트나 최신 리더보드 등록 결과가 아닙니다.
로컬 결과는 추측 디코딩 수락을 시뮬레이션한 1시간 예약 AgentX 실행을 사용했습니다. 디코딩 응답 속도 중앙값은 보관된 벤치마크의 토큰 간 지연 시간 역수 정의를 따릅니다. 이를 첫 토큰 도착 시간이나 작업 전체 지연 시간으로 대체해서는 안 됩니다. 이 구성의 정식 성능 실행은 1회이며 신뢰 구간은 없습니다.
아직 완료되지 않은 로컬 품질 평가는 프로덕션 적합성 검증 전에 필요한 다음 단계입니다. 애플리케이션별 정확성, 실제 검증 모드의 성능, 목표 동시성도 테스트해야 합니다.
자사 워크로드에 맞춰 AMD의 DeepSeek 평가하기
ProsGrow는 팀이 프라이빗 추론과 전용 AMD GPU 배포를 검토하도록 돕습니다. 애플리케이션에 중요한 프롬프트와 응답 시간 목표부터 정한 뒤, 그 요구 사항에 맞춰 구성을 평가할 수 있습니다.