超越 InferenceX MI325X 参考成绩:DeepSeek 吞吐量提升 60%
ProsGrow 在 2 张 AMD MI325X GPU 上测得每 GPU 每秒 364.6 个输出 token,比已发布的 DeepSeek V4.1 Flash 双 GPU、32 会话参考成绩高出 60%。
阅读全文 : 超越 InferenceX MI325X 参考成绩:DeepSeek 吞吐量提升 60%ProsGrow 工程实践
将 AI 模型和推理服务系统的进展应用于企业工作负载,以实测结果清晰呈现性能、质量和成本之间的取舍。
ProsGrow 在 2 张 AMD MI325X GPU 上测得每 GPU 每秒 364.6 个输出 token,比已发布的 DeepSeek V4.1 Flash 双 GPU、32 会话参考成绩高出 60%。
阅读全文 : 超越 InferenceX MI325X 参考成绩:DeepSeek 吞吐量提升 60%在单个并发基准会话中,4 张 AMD MI325X GPU 的解码交互速度中位数达到 492.6 tokens/s/user,比已发布的 4 张 H200 参考成绩高出 48.3%。
阅读全文 : ProsGrow 如何让 MI325X 的 DeepSeek 交互速度超越 H200 参考成绩 48%在 4 个并发请求的智能体基准测试中,ProsGrow 将 8 张 MI325X GPU 服务器上测得的 GLM-5.2 输出吞吐量提高了 199%。这意味着有机会从现有基础设施中获得更多容量。
阅读全文 : 借助 ProsGrow Managed Inference,让 AMD GPU 上的 GLM-5.2 吞吐量接近 3 倍在同样 8 张 AMD MI325X GPU 上,一项实验性推理服务配置将 8K 输入、256 输出 token 请求的耗时中位数从 9.57 降至 6.37 秒。
阅读全文 : ProsGrow 如何让 AMD 上的 Kimi K3 完整请求吞吐量提升 50%在 32 会话的 DeepSeek V4.1 Flash 基准测试中,ProsGrow 将平均首 token 延迟从 1.52 降至 0.80 秒,同时将输出吞吐量提高了 16.7%。
阅读全文 : ProsGrow 如何将 AMD MI300X GPU 上 DeepSeek 的首 token 等待时间缩短 47%DeepSeek V4.1 Flash 在相同的八张 AMD MI325X GPU 上,无缓存首 token 延迟最高降低 32%,保留原始检查点精度。
阅读全文 : ProsGrow 如何将 DeepSeek v4 Flash 首 token 延迟最高降低 32%在相同八张 GPU 上,MiniMax-H3 服务端推理从 19.392 秒降至 8.913 秒。另一项 Wan 测试将热态延迟降低 59.1%。
阅读全文 : ProsGrow 如何将 MiniMax-H3 视频推理延迟降低 54%Whisper 基准吞吐量换算后,相当于八张 GPU 每个实际小时处理约 7,200 小时源音频,吞吐量提升 2.63%,并通过准确率测试。
阅读全文 : ProsGrow 如何使用 Whisper 实现每小时处理 7,200 小时音频Qwen3 在相同 GPU 上的输出吞吐量从 17,961 提升至 41,651 token/s。132% 的增幅以 ProsGrow 初始配置为基线。
阅读全文 : ProsGrow 如何将 Qwen3 批量吞吐量提升 132%单 GPU 精度优化提升 32.5% 后,八 GPU 基准测试达到每小时 59,881 张图像变体。节点性能分析揭示了共享资源如何限制交付。
阅读全文 : ProsGrow 如何实现每小时生成 59,881 张 FLUX.2 图像变体原始向量存储减少 75%,在 SciFact 上保留基线 nDCG@10 的 99.58%。独立精度研究将嵌入吞吐量提升 69.10%。
阅读全文 : ProsGrow 如何将 RAG 原始向量存储减少 75%文档问答在同一组八张 GPU 上达到每小时 45,978 个问题。性能分析揭示了隐藏的工作负载不均衡,释放了 3.07% 的额外产能。
阅读全文 : ProsGrow 如何实现每小时处理 45,978 个文档问题
ProsGrow AI 正在构建用于生产部署、优化及 GPU 运营的 AI 推理优化基础设施。
阅读全文 : ProsGrow AI 在微软、谷歌云与 AWS 初创项目支持下扩展 AI 基础设施与推理系统
ProsGrow AI 现已成为 NVIDIA 初创加速计划成员,我们将继续构建用于部署、优化及 GPU 运营的 AI 推理优化基础设施。
阅读全文 : ProsGrow AI 加入 NVIDIA 初创加速计划