ProsGrow 如何将 AMD MI300X GPU 上 DeepSeek 的首 token 等待时间缩短 47%

现有 GPU 部署可能还有更多潜力。在 10 月的 MI300X 研究中，我们使用同样的 4 张 GPU 和相同软件镜像，通过调整推理服务配置，同时改善了响应开始速度和输出容量。

平均首 token 延迟降低了 47.1%，输出吞吐量提高了 16.7%。对于评估 AMD 基础设施能够支持多少有效工作量的团队，这一结果提供了具体依据：在规划扩容之前，先检查推理服务配置。

更少等待，更多输出

我们在 4 张 AMD MI300X GPU 上，使用 DeepSeek V4.1 Flash 和 32 个并发轨迹会话，比较了本地基线与更新后的配置。

ProsGrow 本地测量，2026 年 10 月 25 日。每次测试的计划基准窗口为 1 小时。百分比由未四舍五入的测量值计算得出。

首 token 等待时间缩短，意味着测试系统平均提前约 0.71 秒开始交付响应。更高的吞吐量则意味着它在整个基准期间交付了更多生成输出。请求数量从另一个角度反映了同一对照结果，并非独立结果，也不是已完成业务任务的数量。

上下文复用为何对智能体服务重要

许多 AI 应用会沿用先前的信息，例如指令、检索材料或更早的对话轮次。随着交互继续，复用符合条件的上下文可以减少重复处理。

我们的调整让推理服务栈能够更好地利用这一机会。我们保持 GPU 配额和软件镜像不变，再测量更新后配置的影响。该方法适用于存在重复上下文的应用，而收益大小取决于实际流量。

一个全新且无关的提示词，其表现可能不同于持续运行的智能体会话。因此，部署评估应包含应用实际将要处理的请求模式。

让现有容量发挥作用

对于基础设施团队，实际问题是：某个配置能否在现有资源内满足所需的响应时间和流量水平。这些结果为 MI300X 找到了一个值得测试的候选方案。

它们不能证明特定幅度的运营成本下降，也不能证明能够普遍支持更多用户。这些结果取决于工作负载、利用率、托管价格和质量要求。本次实验的商业价值，在于为团队提供一项可以在基础设施决策之前进行评估的实测改进。

ProsGrow 的角色是让这一评估具体可行：建立基线、识别可以避免的重复工作，并在相关负载下测试候选方案。我们的工作基于 DeepSeek 与开源推理服务生态的能力。

测量说明

本次比较使用相同的 MI300X 配额、软件镜像和推测生成设置。两次测试均采用录制的 AgentX 轨迹与模拟的推测接受行为。这些是受控工程基准测试，与使用真实验证的生产响应相互独立。

吞吐量按观测到的请求窗口测量，包含轨迹中的停顿。每个选定配置均只有 1 次正式测试，未提供置信区间。这些数字描述了 32 会话工作点，不应外推至所有流量水平。

本地 MI300X 质量评估尚未完成。面向具体工作负载的质量检查和真实服务性能检查，仍是生产适用性验证的一部分。此处数字来自上下文复用对照测试；后续实验设置的收益仍需真实验证测试，因此未纳入本文。

探索 AMD 部署的潜力

正在 AMD 上运行私有 DeepSeek，或评估专用 GPU 容量？ProsGrow 可以帮助测试响应时间、吞吐量与工作负载所需基础设施之间的关系。

与 ProsGrow 讨论您的 MI300X 工作负载。