ProsGrow Managed Inference로 AMD GPU에서 GLM-5.2 처리량을 거의 3배로

프라이빗 AI 어시스턴트를 구축하는 팀에게 GPU 용량은 완료된 작업으로 이어질 때 가치가 있습니다. 모델이 토큰을 빠르게 생성하더라도 긴 컨텍스트 처리, 이전 대화 상태 복원, 에이전트 워크플로 단계 사이의 대기에 상당한 시간을 쓸 수 있습니다.

이 차이가 GLM-5.2 연구의 방향을 정했습니다. 재사용 가능한 컨텍스트를 서빙 시스템이 처리하는 방식을 개선하면 동일한 AMD MI325X GPU 8개로 얼마나 더 많은 출력을 전달할 수 있는지 테스트했습니다. 모델 체크포인트와 정밀도는 그대로 유지했습니다.

거의 3배가 된 출력 속도

10월 6일 실험에서 측정한 출력 처리량은 GPU당 초당 3.03토큰에서 9.05토큰으로 증가했습니다. GPU 8개 서버 전체로는 초당 출력 토큰 24.22개에서 72.43개로 증가했으며, 로컬 기본 구성 대비 2.99배의 결과입니다.

첫 토큰 측정은 결과의 또 다른 측면을 보여 줍니다. 이 워크로드에서 긴 대기 시간이 크게 줄었습니다. 토큰 스트리밍 응답 속도 중앙값의 변화는 2.1%에 그쳤으므로, 처리량 개선은 전체 서빙 워크로드의 결과로 이해해야 하며, 모든 토큰이 3배 빠르게 생성됐다는 주장이 아닙니다.

완료된 응답의 구성이 바뀌면서 전체 요청 지연 시간 중앙값은 6.73초에서 7.92초로 증가했습니다. 따라서 전체 처리량이 높아졌다고 모든 지연 시간 지표가 개선된 것은 아닙니다.

유용한 컨텍스트를 더 오래 활용하기

에이전트 워크플로는 이미 처리한 자료를 다시 참조하는 경우가 많습니다. 해당 처리 결과를 보존하면 같은 컨텍스트를 다시 처리할 필요를 줄일 수 있으며, 여러 대화가 메모리를 놓고 경쟁할 때 특히 중요합니다.

당사의 접근은 서버 메모리 자원 전반의 컨텍스트 재사용을 조율하는 데 집중했습니다. 사용 가능한 호스트 메모리를 GPU 메모리와 함께 활용하고 서빙 정책을 조정한 뒤, 전체 벤치마크 워크로드에서 구성의 동작을 확인했습니다. 서버 카운터에서는 전체 캐시 재사용률이 83.4%에서 96.6%로 증가했습니다.

비즈니스 측면의 시사점은 실용적입니다. 배포를 평가할 때 GPU 연산과 함께 메모리 및 컨텍스트 동작을 살펴봐야 합니다. GPU 추가 구매에 나서기 전에 기존 서버에서 추가 처리 용량을 찾을 수도 있습니다. 그 크기는 애플리케이션의 트래픽과 응답 요구 사항에 따라 달라집니다.

공개 기준 기록과의 비교

측정한 9.05 토큰/초/GPU는 2026년 9월 25일 InferenceX GLM-5.2 기준 기록(행 443210)의 4.14 토큰/초/GPU에 비해 2.19배이기도 합니다. 비교 조건은 MI325X GPU 8개와 동시성 4입니다. 토큰 스트리밍 응답 속도 중앙값은 해당 기준 기록보다 3.6% 낮았습니다. 이는 과거 공개 지점과의 비교이며, 런타임 식별 정보와 실행 조건이 달라 정확한 재현을 주장할 수는 없습니다. 공개 기준 실행

이 결과가 뒷받침하는 것

성능 실행 전에 별도의 실제 검증 검사에서 짧은 프롬프트와 긴 프롬프트 조건 모두 수학 문제 128개 중 125개를 맞혔으며, 기준선에서 맞힌 답이 틀린 답으로 바뀐 사례는 없었습니다. 이 검사는 테스트한 구성을 뒷받침하며, 고객 워크플로에는 별도의 품질 평가가 필요합니다.

이 성능 결과는 추측 디코딩 수락을 합성한 1시간 AgentX 테스트를 순차 실행한 1쌍에서 나왔습니다. 일부 응답은 요청한 길이보다 짧았고, 실행은 작은 입력 길이 차이와 서로 다른 응답 구성을 보였습니다. 완료된 응답은 모두 포함했습니다. 이 결과는 동시성 4의 GLM-5.2 FP8에 적용되며, 프로덕션 처리 용량이나 비용을 보장하지 않습니다.

프라이빗 GLM 호스팅을 계획하거나 전용 AMD GPU 인프라를 검토하고 계신가요? ProsGrow는 모델, 워크로드, 응답 목표를 평가하고 용량 확장 전에 테스트할 만한 서빙 변경 사항을 찾도록 도울 수 있습니다. 파일럿 상담하기