InferenceXのMI325X参考値を超える：DeepSeekのスループットを60%向上

プライベートAIサービスを構築するチームにとって、有効な処理能力はビジネス上の課題です。システムはどれだけの仕事を処理でき、トラフィックが増えたときに利用者は応答をどのくらい待つのでしょうか。

10月のDeepSeek V4.1 Flash検証では、更新したサービング構成により、同じGPU2基・同時実行ベンチマークセッション数32の条件で、9月22日のInferenceX MI325X参考値に対してGPUあたり出力スループットが60.1%向上しました。同じマシン上の自社ベースラインに対する改善は60.8%でした。

ハードウェアの割り当ては変えていません。改善の余地は、サービングソフトウェアによる使い方にありました。

結果：同じGPU割り当てで、より多くの出力

DeepSeek V4.1 Flash。1つのモデルインスタンスにGPU2基を割り当て、同時実行トレースセッション数は32。公開参考値は2026年9月22日、ProsGrowのローカル測定は10月20日のものです。

ローカル比較では、応答開始にも大きな変化が見られました。最初のトークンまでの平均時間は4.70秒から1.09秒へ、76.8%短縮しました。1時間のベンチマーク中、最適化構成では2,785件のプロファイリングリクエストが完了し、ベースラインでは1,896件でした。

これらの指標は、出力能力の増加、生成開始までの待ち時間の短縮、処理リクエスト数の増加という異なる効果を示します。完了したリクエストはベンチマークのリクエストであり、完了した顧客業務の件数ではありません。

プライベートAIの処理能力にとっての意味

アシスタントは複数のターンにわたって、同じ文書、指示、会話履歴を参照することがあります。再利用できる処理をサービングスタックが繰り返すと、利用可能なGPU容量がアプリケーションに提供できる有効な仕事量は減ります。

今回の結果は、推論環境を増強する前の実践的な一歩を示しています。代表的なトラフィックで既存システムを測定し、サービング構成を評価することです。似た再利用パターンを持つワークロードでは、ソフトウェアの変更によって、同じGPU割り当て内で処理能力を増やせる可能性があります。

これは調査する価値のある処理能力の余地です。リクエスト単価に換算するには、実際のホスティング価格、稼働率、CPU・メモリ資源、アプリケーションの品質目標が必要です。本検証では、顧客のコスト削減額は測定していません。

改善の余地をどう見つけたか

ProsGrowは、更新したオープンソースのサービングスタックと、エージェントのターン間で再利用可能なコンテキストをより有効に使う構成を組み合わせました。ローカルベースラインを確立し、候補構成を評価して、ベンチマーク全体の実行結果を比較しました。

この作業はDeepSeekとvLLM ROCmのエコシステムに基づいています。私たちの貢献は、導入環境の改善機会を見つけ、構成を統合し、MI325X上の挙動を測定したことです。ローカルでの60.8%の改善は、ソフトウェアと構成の更新を合わせた効果です。

これは、以前のDeepSeek遅延検証で採用した、ワークロードに焦点を当てる手法の延長にあります。ただし、その検証と今回の10月の測定は別の実験であり、改善率を足し合わせるべきではありません。

測定に関する注記

これらは、アーカイブされたInferenceX AgentXプロトコルを用いたProsGrowのローカルなエンジニアリング結果です。記録済みエージェントトレース、予定実行時間1時間のテスト、投機的生成の受理のシミュレーションを使用しています。シミュレーションは性能試験条件を制御するためのものであり、本番の応答には実際の検証と別途の妥当性確認が必要です。スループットは、トレース内の待機を含む観測リクエスト期間中の生成出力から計算します。

見出しは今回の測定と日付の明確な公開参考実行結果との比較です。この参考値は10月19日時点のスナップショットの行442868に保存されています。更新されたInferenceXランキングを主張するものではありません。ローカルの変更前後の測定は、同一マシン上での比較を提供します。ここに示す各ローカル構成の正式な実行は1回で、信頼区間はありません。

別途行った小規模な品質確認では、GPU割り当てと同時実行数が異なります。そのため、今回のGPU2基・32セッション構成の品質を裏付けるものではありません。顧客タスクの品質と実際のサービング応答時間は、引き続き本番適合性確認の対象です。

既存環境にある処理能力を見つける

ProsGrowは、リクエストの構成、トラフィック、応答時間の目標、インフラ予算に照らして、プライベートDeepSeekホスティングの評価を支援します。まず測定済みのベースラインを確立し、適切なサービング構成でどれだけ処理能力を引き出せるかを検証します。

プライベート推論のパイロット導入についてProsGrowに相談する。