AIアシスタントを使うとき、応答が表示される速さは重要です。ストリーミング出力が速ければ、説明を追い、生成されたコードを確認し、次に何を尋ねるかを判断しやすくなります。
10月のDeepSeek V4.1 Flashの検証では、ProsGrowは4基のMI325X GPUでデコード対話速度の中央値492.6 tokens/s/userを測定しました。InferenceXが公開している、同じ4基のGPU・1セッションの条件でのH200の参考値は332.2です。今回の結果は48.3%上回りました。
このベンチマーク結果は現在も評価中であり、当該構成のローカル品質評価はまだ完了していません。対話型DeepSeekワークロードでAMDを評価する根拠になりますが、本番環境への適合性確認は今後の課題です。
見出しを裏付ける数値
| 指標 | 公開H200参考値 | ProsGrowのMI325X結果 | 差分 |
|---|---|---|---|
| デコード対話速度の中央値、tokens/s/user | 332.2 | 492.6 | +48.3% |
| 出力スループット、tokens/s/GPU | 37.45 | 42.83 | +14.4% |
DeepSeek V4.1 Flash。モデルにGPU4基を割り当て、同時実行セッション数は1。H200参考値：2026年9月21日。ProsGrowの測定：2026年10月20日。
デコード対話速度は、応答が始まった後のトークン生成ペースを測る指標です。出力スループットは、ターン間の待機時間を含むベンチマークのリクエスト期間全体で提供された出力を測ります。したがって、見出しの48.3%はストリーミングの対話速度を示しており、応答全体や業務タスクの完了が48.3%速くなったことを意味しません。
選択した参考値に対して両指標とも改善しましたが、改善幅は異なります。
検証する価値のあるAMDの導入候補
プライベートなコーディングアシスタント、文書ツール、対話型アプリケーションを計画するチームにとって、今回の結果は評価すべきインフラの選択肢を広げます。モデル、ワークロード、推論サービングソフトウェアによって、GPU環境から得られる性能は大きく変わり得ます。
ビジネス上の機会は、アプリケーションが必要とする体験に基づいてインフラを選ぶことにあります。遅延に敏感な少数のセッションに最適化したサービスと、大量の同時リクエストを処理するサービスでは、適切な選択が異なる場合があります。
1セッションの結果を、ほかの同時実行数にそのまま当てはめるべきではありません。検証した8セッションの構成は、対応する公開H200参考値を依然として下回りました。この結果は特定の用途に向けた導入判断を支えるものであり、あるGPUがあらゆるワークロードで優位という主張ではありません。
ProsGrowが変更したこと
公開されているvLLM ROCmサービングスタックの、生成時のオーバーヘッドを削減する改善を統合し、評価しました。ProsGrowは適切な構成を選定し、ローカルの対照構成と比較して、記録済みのエージェントワークロードで測定することに注力しました。
基盤となる実装は、上流のvLLMコミュニティによるものです。この機能を導入候補にするには、どの場面で役立ち、どのハードウェアで動作し、どの検証がまだ必要かを理解しなければなりません。
見出しの背後にあるのは、ソフトウェアの機能を具体的なワークロードに結び付け、その結果を測定する作業です。
測定に関する注記
H200の数値は公開済みのInferenceX実行結果に基づき、10月19日時点のスナップショットでは行442749として保存しています。異なるホストとソフトウェア構成の過去の参考値との比較であり、同時に実施したハードウェア単体の比較試験や、更新されたランキング結果ではありません。
ローカル結果は、予定実行時間1時間のAgentXテストで、投機的生成の受理をシミュレーションしたものです。デコード対話速度の中央値は、アーカイブされたベンチマークのトークン間遅延の逆数という定義に従います。最初のトークンまでの時間や、タスク全体のエンドツーエンド遅延の代用にはなりません。この構成の正式な性能測定は1回で、信頼区間はありません。
未完了のローカル品質評価は、本番環境への適合性を確認する前に必要な次のステップです。アプリケーション固有の正確性、実際の検証を伴う性能、目標とする同時実行数での確認も必要です。
自社のワークロードでAMD上のDeepSeekを評価する
ProsGrowは、プライベート推論と専用AMD GPU環境の検討を支援します。アプリケーションにとって重要なプロンプトと応答時間の目標から始め、その要件に照らして構成を評価できます。