Para un equipo que desarrolla un servicio privado de IA, la capacidad útil es una cuestión de negocio. ¿Cuánto trabajo puede procesar el despliegue y cuánto tendrán que esperar los usuarios cuando aumente el tráfico?
En nuestro estudio de octubre sobre DeepSeek V4.1 Flash, una configuración de inferencia actualizada entregó un 60.1% más de rendimiento de salida por GPU que la referencia MI325X de InferenceX del 22 de septiembre, con la misma asignación de dos GPU y 32 sesiones simultáneas de benchmark. Frente a nuestra propia base en el mismo servidor, la mejora fue del 60.8%.
La asignación de hardware se mantuvo. La oportunidad estaba en cómo lo utilizaba el software de inferencia.
El resultado: más salida con la misma asignación de GPU
| Configuración | Rendimiento de salida, tokens/s/GPU |
|---|---|
| Referencia MI325X publicada de InferenceX | 227.8 |
| Base local de ProsGrow | 226.7 |
| Configuración optimizada de ProsGrow | 364.6 |
DeepSeek V4.1 Flash; dos GPU asignadas a una instancia del modelo; 32 sesiones simultáneas de trazas. La referencia pública es del 22 de septiembre de 2026; las mediciones locales de ProsGrow son del 20 de octubre.
La comparación local también mostró un cambio importante en el inicio de las respuestas. El tiempo medio hasta el primer token bajó de 4.70 a 1.09 segundos, una reducción del 76.8%. La ejecución optimizada completó 2,785 solicitudes de medición, frente a 1,896 en la ejecución base, durante el benchmark de una hora.
Estas métricas describen beneficios distintos: más capacidad de salida, menos espera antes de comenzar la generación y más solicitudes procesadas. Las solicitudes completadas pertenecen al benchmark; no son un recuento de tareas de clientes terminadas.
Qué significa para la capacidad de IA privada
Un asistente puede volver a consultar los mismos documentos, instrucciones e historial de conversación durante muchos turnos. Si el software de inferencia repite trabajo que podría reutilizar, la capacidad de GPU disponible produce menos trabajo útil para la aplicación.
Nuestro resultado sugiere un paso práctico antes de ampliar un despliegue de inferencia: medir el sistema existente con tráfico representativo y evaluar su configuración. Para cargas con patrones de reutilización similares, los cambios de software pueden aportar capacidad adicional con la misma asignación de GPU.
Es un margen de capacidad que merece investigarse. Convertirlo en una estimación de coste por solicitud requiere el precio real del alojamiento, la utilización, los recursos de CPU y memoria y los objetivos de calidad de la aplicación. En este estudio no medimos ahorros de costes para clientes.
Cómo encontramos la mejora
ProsGrow combinó una versión actualizada del software de inferencia de código abierto con una mejor reutilización del contexto apto entre turnos del agente. Establecimos una base local, evaluamos configuraciones candidatas y comparamos ejecuciones completas del benchmark.
El trabajo se apoya en DeepSeek y en el ecosistema vLLM ROCm. Nuestra contribución fue identificar la oportunidad de despliegue, integrar la configuración y medir su comportamiento en MI325X. La mejora local del 60.8% refleja la actualización conjunta del software y la configuración.
Esto amplía el enfoque centrado en la carga de nuestro estudio anterior de latencia de DeepSeek. Aquel estudio y estas mediciones de octubre son experimentos separados; sus porcentajes de mejora no deben sumarse.
Notas sobre las mediciones
Estos son resultados locales de ingeniería de ProsGrow obtenidos con el protocolo archivado InferenceX AgentX: trazas de agentes registradas, ejecuciones programadas de una hora y aceptación especulativa simulada. La simulación controla una condición de la prueba de rendimiento; las respuestas en producción requieren verificación real y validación aparte. El rendimiento cuenta la salida generada durante la ventana observada de solicitudes, incluidas las pausas de las trazas.
El titular compara nuestra medición con una ejecución pública de referencia con fecha identificada, conservada como fila 442868 en nuestra instantánea del 19 de octubre. No afirma una nueva posición en InferenceX. El par local antes/después proporciona la comparación en el mismo servidor. Cada configuración local presentada tiene una ejecución formal, sin intervalo de confianza.
Una comprobación de calidad pequeña e independiente utilizó otra asignación de GPU y otra concurrencia. No acredita la calidad de esta configuración con dos GPU y 32 sesiones. La calidad en tareas de clientes y los tiempos de respuesta del servicio real siguen formando parte de la validación para producción.
Descubra la capacidad disponible en su despliegue
ProsGrow puede ayudarle a evaluar el alojamiento privado de DeepSeek según su combinación de solicitudes, tráfico, objetivos de respuesta y presupuesto de infraestructura. Empiece con una base medida y pruebe cuánta capacidad puede recuperar una configuración adecuada.