Al trabajar con un asistente de IA, importa el ritmo de la respuesta. Una generación más fluida puede facilitar seguir una explicación, revisar código generado o decidir qué preguntar después.
En nuestro estudio de octubre sobre DeepSeek V4.1 Flash, ProsGrow midió una interactividad mediana de decodificación de 492.6 tokens/s/usuario con cuatro GPU MI325X. La referencia H200 publicada a través de InferenceX, también con cuatro GPU y una sola sesión, registró 332.2. Nuestro resultado fue un 48.3% superior.
Este resultado de benchmark sigue en evaluación: la evaluación local de calidad de esta configuración está pendiente. Ofrece un motivo para evaluar AMD en cargas interactivas de DeepSeek, aunque todavía falta completar la validación para producción.
Las cifras detrás del titular
| Métrica | Referencia H200 publicada | ProsGrow en MI325X | Diferencia |
|---|---|---|---|
| Interactividad mediana de decodificación, tokens/s/usuario | 332.2 | 492.6 | +48.3% |
| Rendimiento de salida, tokens/s/GPU | 37.45 | 42.83 | +14.4% |
DeepSeek V4.1 Flash; cuatro GPU asignadas al modelo; una sesión simultánea. Referencia H200: 21 de septiembre de 2026. Medición de ProsGrow: 20 de octubre de 2026.
La interactividad de decodificación mide el ritmo de generación de tokens una vez iniciada la respuesta. El rendimiento de salida mide la salida entregada durante la ventana de solicitudes del benchmark, incluidas las pausas entre turnos. Por tanto, el 48.3% del titular describe la interactividad durante la generación, y no que una respuesta completa o una tarea de negocio termine un 48.3% más rápido.
Ambas métricas mejoraron respecto a la referencia seleccionada, en distinta medida.
Una opción de despliegue AMD que merece evaluarse
Para equipos que planifican asistentes de programación privados, herramientas documentales o aplicaciones conversacionales, estos resultados amplían las opciones de infraestructura que merece la pena evaluar. El modelo, la carga de trabajo y el software de inferencia pueden cambiar considerablemente el rendimiento de un despliegue con GPU.
La oportunidad comercial consiste en elegir la infraestructura según la experiencia que necesita la aplicación. Un servicio optimizado para pocas sesiones sensibles a la latencia puede requerir decisiones distintas de uno diseñado para muchas solicitudes simultáneas.
El resultado de una sola sesión no debe extrapolarse a otros niveles de concurrencia. Nuestras configuraciones probadas con ocho sesiones seguían por debajo de las referencias H200 publicadas correspondientes. El resultado respalda una decisión de despliegue específica, no la afirmación de que una GPU gana en todas las cargas.
Qué cambió ProsGrow
Integramos y evaluamos mejoras del software público vLLM ROCm que reducen la sobrecarga durante la generación. ProsGrow se centró en elegir una configuración adecuada, contrastarla con controles locales y medirla con una carga de agentes registrada.
La implementación de base procede de la comunidad de vLLM. Convertir esa capacidad en una opción de despliegue exige entender dónde resulta útil, qué hardware puede admitirla y qué validación sigue pendiente.
Ese es el trabajo que hay detrás del titular: vincular una capacidad de software con una carga concreta y medir el resultado.
Notas sobre las mediciones
Las cifras de H200 proceden de una ejecución publicada de InferenceX, conservada como fila 442749 en nuestra instantánea del 19 de octubre. Es una comparación con una referencia histórica en otro servidor y con otra configuración de software; no es una prueba simultánea que aísle únicamente el hardware ni una nueva entrada en la clasificación.
Nuestro resultado local utiliza una ejecución AgentX programada de una hora con aceptación especulativa simulada. La interactividad mediana de decodificación sigue la definición del benchmark archivado: el inverso de la latencia entre tokens. No debe sustituir al tiempo hasta el primer token ni a la latencia total de una tarea. Esta configuración tiene una sola ejecución formal de rendimiento, sin intervalo de confianza.
Completar la evaluación local de calidad pendiente es un paso obligatorio antes de la validación para producción. También hay que probar la corrección específica de la aplicación, el rendimiento con verificación real y la concurrencia objetivo.
Evalúe DeepSeek en AMD para su carga de trabajo
ProsGrow ayuda a los equipos a explorar la inferencia privada y los despliegues con GPU AMD dedicadas. Podemos partir de los prompts y los objetivos de tiempo de respuesta importantes para su aplicación y evaluar una configuración frente a esos requisitos.
Hable con ProsGrow sobre una evaluación de inferencia en AMD.