기존 GPU 배포 환경에서도 더 많은 성능을 얻을 수 있습니다. 10월 MI300X 연구에서는 동일한 GPU 4개와 동일한 소프트웨어 이미지를 사용하면서 서빙 구성 변경으로 응답 시작 시간과 출력 용량을 모두 개선했습니다.
평균 첫 토큰 도착 시간은 47.1% 감소했고, 출력 처리량은 16.7% 증가했습니다. AMD 인프라가 얼마나 많은 유용한 작업을 지원할 수 있는지 평가하는 팀에게, 이 결과는 확장을 계획하기 전에 서빙 구성을 살펴볼 구체적인 근거를 제공합니다.
대기는 줄이고 출력은 늘리기
AMD MI300X GPU 4개에서 DeepSeek V4.1 Flash와 동시 트레이스 세션 32개를 사용해 로컬 기준선과 업데이트한 구성을 비교했습니다.
| 지표 | 로컬 기준선 | 업데이트한 구성 | 변화 |
|---|---|---|---|
| 평균 첫 토큰 도착 시간 | 1.52초 | 0.80초 | 47.1% 감소 |
| 출력 처리량, 토큰/초/GPU | 185.5 | 216.5 | 16.7% 증가 |
| 완료한 프로파일링 요청 | 2,818 | 3,247 | 15.2% 증가 |
2026년 10월 25일 ProsGrow 로컬 측정. 각 실행은 1시간 예약 벤치마크 구간을 사용했습니다. 백분율은 반올림 전 측정값으로 계산했습니다.
첫 토큰 대기 시간의 감소는 테스트한 시스템이 평균 약 0.71초 더 일찍 응답을 전달하기 시작했다는 뜻입니다. 처리량 증가는 벤치마크 전체에서 더 많은 생성 출력을 전달했다는 뜻입니다. 요청 수는 같은 비교를 다른 관점에서 보여 주며, 별도의 결과나 완료된 업무 수가 아닙니다.
에이전트 서비스에서 컨텍스트 재사용이 중요한 이유
많은 AI 애플리케이션은 지시 사항, 검색한 자료, 이전 대화 턴 등의 정보를 이어서 활용합니다. 재사용 가능한 컨텍스트를 활용하면 상호작용이 계속되는 동안 반복 처리를 줄일 수 있습니다.
이번 변경으로 서빙 스택이 그 기회를 더 잘 활용하도록 했습니다. GPU 할당과 소프트웨어 이미지를 고정한 뒤 업데이트한 서빙 구성의 효과를 측정했습니다. 이 방법은 컨텍스트가 반복되는 애플리케이션에 관련이 있으며, 실제 이점의 크기는 트래픽에 따라 달라집니다.
새롭고 관련 없는 프롬프트는 오래 이어지는 에이전트 세션과 다르게 동작할 수 있습니다. 따라서 배포 평가에는 애플리케이션이 실제로 처리할 요청 패턴을 포함해야 합니다.
기존 처리 용량 활용하기
인프라 팀이 확인해야 할 실질적인 질문은 사용 가능한 자원으로 필요한 응답 시간과 트래픽 수준을 충족하는 구성인지입니다. 이번 결과는 MI300X에서 테스트할 만한 유용한 후보를 제시합니다.
특정 수준의 운영 비용 절감이나 지원 사용자 수의 보편적인 증가를 입증한 것은 아닙니다. 그런 결과는 워크로드, 활용률, 호스팅 가격, 품질 요구 사항에 달려 있습니다. 이 실험의 비즈니스 가치는 인프라 결정을 내리기 전에 평가할 수 있는 측정된 개선 결과를 팀에 제공한다는 데 있습니다.
ProsGrow의 역할은 평가를 구체화하는 것입니다. 기준선을 설정하고, 피할 수 있는 반복 작업을 찾으며, 관련 부하에서 후보를 테스트합니다. 이 작업은 DeepSeek와 오픈소스 서빙 생태계의 기능을 바탕으로 합니다.
측정 참고 사항
이 비교는 동일한 MI300X 할당, 소프트웨어 이미지, 추측 생성 설정을 사용했습니다. 두 실행 모두 기록된 AgentX 트레이스와 추측 디코딩 수락 시뮬레이션을 사용했습니다. 실제 검증으로 생성하는 프로덕션 응답과 구분되는, 조건을 통제한 엔지니어링 벤치마크입니다.
처리량은 트레이스의 대기 시간을 포함한 관측 요청 구간에서 측정합니다. 선택한 각 구성은 정식 실행 1회이며 신뢰 구간은 없습니다. 수치는 세션 32개의 운영 지점을 나타내며, 모든 트래픽 수준으로 확대 해석해서는 안 됩니다.
로컬 MI300X 품질 평가는 아직 완료되지 않았습니다. 워크로드별 품질과 실제 서빙 성능 검사는 프로덕션 적합성 검증에 포함돼야 합니다. 여기 제시한 수치는 컨텍스트 재사용 비교 결과이며, 향상 폭을 실제 검증 모드에서 추가 확인해야 하는 후속 실험 설정은 제외했습니다.
AMD 배포 환경의 잠재력 살펴보기
AMD에서 프라이빗 DeepSeek를 실행하고 있거나 전용 GPU 용량을 검토하고 계신가요? ProsGrow는 응답 시간, 처리량, 워크로드에 필요한 인프라 사이의 관계를 테스트하도록 도울 수 있습니다.