Para un equipo que desarrolla un asistente privado de IA, la capacidad de GPU adquiere valor cuando se convierte en trabajo completado. Un modelo puede generar tokens rápidamente y aun así dedicar mucho tiempo a procesar contexto largo, recuperar el estado de una conversación anterior o esperar entre etapas de un flujo de agentes.
Esa distinción orientó nuestro estudio de GLM-5.2. Probamos cuánta salida adicional podían entregar las mismas ocho GPU AMD MI325X al mejorar la gestión del contexto reutilizable en el sistema de inferencia. El checkpoint del modelo y su precisión se mantuvieron.
Casi el triple de velocidad de salida
En nuestro experimento del 6 de octubre, el rendimiento de salida medido pasó de 3.03 a 9.05 tokens por segundo y por GPU. En el servidor de ocho GPU, pasó de 24.22 a 72.43 tokens de salida por segundo: un resultado de 2.99× frente a nuestra configuración local estándar.
| Resultado medido | Configuración local estándar | ProsGrow optimizado |
|---|---|---|
| Rendimiento de salida por GPU | 3.03 tokens/s | 9.05 tokens/s |
| Rendimiento de salida del servidor completo | 24.22 tokens/s | 72.43 tokens/s |
| Mediana del tiempo hasta el primer token | 2.58 segundos | 1.95 segundos |
| Percentil 90 del tiempo hasta el primer token | 203.42 segundos | 10.87 segundos |
Las mediciones del primer token muestran otra parte del resultado: las esperas largas de esta carga se acortaron considerablemente. La interactividad mediana durante la generación de tokens cambió solo un 2.1%, por lo que la mejora de rendimiento debe entenderse como un resultado para la carga completa del servicio, no como una afirmación de que cada token se generó tres veces más rápido.
La latencia mediana de la solicitud completa aumentó de 6.73 a 7.92 segundos al cambiar la combinación de respuestas completadas. Por tanto, un mayor rendimiento global no significó que todas las métricas de latencia mejoraran.
Aprovechar el contexto útil durante más tiempo
Los flujos de agentes suelen volver a consultar material ya procesado. Conservar ese trabajo puede reducir la necesidad de procesar de nuevo el mismo contexto, especialmente cuando varias conversaciones compiten por memoria.
Nuestro enfoque se centró en coordinar la reutilización de contexto entre los recursos de memoria del servidor. Utilizamos memoria disponible del sistema junto con la memoria de GPU, ajustamos la política de inferencia y comprobamos el comportamiento con la carga completa del benchmark. Los contadores del servidor mostraron que la reutilización global de caché aumentó del 83.4% al 96.6%.
La implicación comercial es práctica: una evaluación de despliegue debe analizar el comportamiento de memoria y contexto junto con el cómputo de GPU. Puede haber capacidad adicional en un servidor existente antes de que comprar otra GPU sea el siguiente paso. La cantidad depende del tráfico y de los requisitos de respuesta de la aplicación.
Comparación con la referencia publicada
Nuestros 9.05 tokens/s/GPU medidos también fueron 2.19× los 4.14 tokens/s/GPU de la referencia InferenceX de GLM-5.2 del 25 de septiembre de 2026 (fila 443210), con ocho GPU MI325X y concurrencia cuatro. La interactividad mediana durante la generación fue un 3.6% inferior a esa referencia. Es una comparación con un punto histórico publicado; las diferencias en la identidad del entorno de ejecución y en las condiciones impiden afirmar una reproducción exacta. Ejecución de referencia publicada
Qué respalda este resultado
Antes de la prueba de rendimiento, comprobaciones independientes con verificación real acertaron 125 de 128 preguntas de matemáticas tanto con prompts cortos como largos, sin que ninguna respuesta correcta de la base pasara a ser incorrecta. Estas comprobaciones respaldan la configuración probada; los flujos de clientes necesitan su propia evaluación de calidad.
El resultado de rendimiento procede de un par secuencial de pruebas AgentX de una hora con aceptación especulativa sintética. Algunas respuestas fueron más cortas de lo solicitado y las ejecuciones avanzaron por distintas combinaciones de respuestas con pequeñas diferencias de longitud de entrada. Se conservaron todas las respuestas completadas. El resultado se aplica a GLM-5.2 FP8 con concurrencia cuatro; no garantiza capacidad ni costes de producción.
¿Planifica alojamiento privado de GLM o evalúa infraestructura AMD con GPU dedicadas? ProsGrow puede ayudarle a evaluar el modelo, la carga y los objetivos de respuesta, e identificar qué cambios de inferencia merece la pena probar antes de ampliar capacidad. Hablemos de un piloto