Un despliegue de GPU existente puede ofrecer más. En nuestro estudio de octubre con MI300X, un cambio de configuración mejoró tanto el inicio de las respuestas como la capacidad de salida con las mismas cuatro GPU y la misma imagen de software.
El tiempo medio hasta el primer token cayó un 47.1%. El rendimiento de salida aumentó un 16.7%. Para los equipos que evalúan cuánto trabajo útil puede sostener su infraestructura AMD, el resultado ofrece un motivo concreto para revisar la configuración de inferencia antes de planificar una ampliación.
Menos espera, más salida
Comparamos una base local con una configuración actualizada en cuatro GPU AMD MI300X, con DeepSeek V4.1 Flash y 32 sesiones simultáneas de trazas.
| Métrica | Base local | Configuración actualizada | Cambio |
|---|---|---|---|
| Tiempo medio hasta el primer token | 1.52 s | 0.80 s | 47.1% menos |
| Rendimiento de salida, tokens/s/GPU | 185.5 | 216.5 | 16.7% más |
| Solicitudes de medición completadas | 2,818 | 3,247 | 15.2% más |
Mediciones locales de ProsGrow, 25 de octubre de 2026. Cada ejecución utilizó una ventana programada de benchmark de una hora. Los porcentajes se calculan con las mediciones sin redondear.
La reducción de espera hasta el primer token significa que el sistema probado comenzó a entregar respuestas aproximadamente 0.71 segundos antes, de media. El mayor rendimiento significa que entregó más salida generada durante el benchmark. El número de solicitudes ofrece otra perspectiva de la misma comparación; no es un resultado independiente ni un recuento de tareas de negocio completadas.
Por qué importa reutilizar contexto en un servicio de agentes
Muchas aplicaciones de IA conservan información entre interacciones: instrucciones, material recuperado o turnos anteriores de conversación. Reutilizar el contexto apto puede reducir el procesamiento repetido a medida que continúa la interacción.
Nuestro cambio permitió al software de inferencia aprovechar mejor esa oportunidad. Mantuvimos fija la asignación de GPU y la imagen de software y medimos el efecto de la configuración actualizada. El método es pertinente para aplicaciones con contexto repetido, aunque la magnitud del beneficio depende de su tráfico real.
Un prompt nuevo y sin relación puede comportarse de forma distinta de una sesión larga de agente. Por eso, la evaluación del despliegue debe incluir los patrones de solicitudes que atenderá la aplicación.
Aproveche la capacidad existente
Para un equipo de infraestructura, la pregunta práctica es si una configuración puede cumplir los tiempos de respuesta y el nivel de tráfico requeridos con los recursos disponibles. Estos resultados identifican una alternativa útil para probar en MI300X.
No demuestran una reducción concreta de costes operativos ni un aumento universal del número de usuarios admitidos. Esos resultados dependen de la carga, la utilización, el precio del alojamiento y los requisitos de calidad. El valor comercial del experimento consiste en ofrecer al equipo una mejora medida que pueda evaluar antes de decidir sobre infraestructura.
El papel de ProsGrow es hacer concreta esa evaluación: establecer una base, identificar trabajo repetido evitable y probar una configuración con una carga pertinente. Nos apoyamos en las capacidades de DeepSeek y del ecosistema de inferencia de código abierto.
Notas sobre las mediciones
Esta comparación usa la misma asignación de MI300X, imagen de software y ajustes de generación especulativa. Ambas ejecuciones usaron trazas AgentX registradas y aceptación especulativa simulada. Son benchmarks de ingeniería controlados, separados de las respuestas en producción con verificación real.
El rendimiento se mide durante la ventana observada de solicitudes, incluidas las pausas de la traza. Cada configuración seleccionada tiene una ejecución formal y ningún intervalo de confianza. Las cifras describen el punto de operación de 32 sesiones; no deben extrapolarse a todos los niveles de tráfico.
Todavía no se ha completado una evaluación local de calidad en MI300X. Las comprobaciones de calidad específicas de la carga y de rendimiento en servicio real siguen formando parte de la validación para producción. Las cifras de este artículo corresponden a la comparación de reutilización de contexto; se excluyen ajustes experimentales posteriores cuyas mejoras aún requieren pruebas con verificación real.
Explore el potencial de su despliegue AMD
¿Ejecuta DeepSeek privado en AMD o está evaluando capacidad de GPU dedicada? ProsGrow puede ayudarle a probar la relación entre tiempo de respuesta, rendimiento e infraestructura necesaria para su carga de trabajo.