InferenceXのMI325X参考値を超える:DeepSeekのスループットを60%向上
ProsGrowは2基のAMD MI325X GPUで、GPUあたり毎秒364.6出力トークンを測定しました。DeepSeek V4.1 Flashの公開参考値であるGPU2基・32セッションの結果を60%上回ります。
記事を読む : InferenceXのMI325X参考値を超える:DeepSeekのスループットを60%向上ProsGrow エンジニアリング
AI モデルと推論サービングシステムの進歩を企業のワークロードに適用した実測結果を、性能・品質・コストのトレードオフとともに紹介します。
ProsGrowは2基のAMD MI325X GPUで、GPUあたり毎秒364.6出力トークンを測定しました。DeepSeek V4.1 Flashの公開参考値であるGPU2基・32セッションの結果を60%上回ります。
記事を読む : InferenceXのMI325X参考値を超える:DeepSeekのスループットを60%向上同時実行セッション数1のベンチマークで、4基のAMD MI325X GPUがデコード対話速度の中央値492.6 tokens/s/userを記録。公開されている4基のH200の参考値を48.3%上回りました。
記事を読む : ProsGrowがDeepSeekでMI325XをH200の参考値より48%速くした方法4リクエスト同時実行のエージェントベンチマークで、ProsGrowはMI325X GPU8基のサーバーにおけるGLM-5.2の実測出力スループットを199%向上させました。既存インフラから、より多くの処理能力を引き出す機会です。
記事を読む : ProsGrow Managed InferenceでAMD GPU上のGLM-5.2スループットを約3倍に同じAMD MI325X GPU8基で、実験的なサービング構成により、入力8K・出力256トークンのリクエスト時間の中央値が9.57秒から6.37秒に短縮しました。
記事を読む : ProsGrowがAMD上のKimi K3のリクエスト全体スループットを50%向上させた方法32セッションのDeepSeek V4.1 Flashベンチマークで、ProsGrowは最初のトークンまでの平均時間を1.52秒から0.80秒に短縮し、出力スループットも16.7%向上させました。
記事を読む : ProsGrowがAMD MI300X GPU上でDeepSeekの最初のトークンまでの待ち時間を47%短縮した方法DeepSeek V4.1 Flash のコールド時の初回トークン遅延が、同じ 8 基の AMD MI325X GPU で最大 32% 低下。元のチェックポイント精度は維持しています。
記事を読む : ProsGrow が DeepSeek v4 Flash の初回トークン遅延を最大 32% 削減した方法同じ 8 基の GPU で MiniMax-H3 のサーバー推論が 19.392 秒から 8.913 秒へ。別の Wan 実験ではウォーム時レイテンシを 59.1% 削減しました。
記事を読む : ProsGrow が MiniMax-H3 の動画推論レイテンシを 54% 改善する方法Whisper のベンチマークは GPU 8 基で実時間 1 時間当たり約 7,200 時間分の元音声に相当。処理量は 2.63% 向上し、精度試験にも合格しました。
記事を読む : ProsGrow が Whisper で毎時 7,200 時間分の音声処理を実現した方法Qwen3 の出力スループットが同じ GPU で 17,961 から 41,651 トークン/秒に向上。132% の改善は ProsGrow の初期設定を基準に測定したものです。
記事を読む : ProsGrow が Qwen3 のバッチスループットを 132% 向上させた方法単一 GPU の数値精度変更で 32.5% 向上後、GPU 8 基で毎時 59,881 枚の画像バリエーションを達成。ノード分析で共有資源が提供速度を制限する箇所を特定しました。
記事を読む : ProsGrow が FLUX.2 画像バリエーションを毎時 59,881 枚生成するまで生ベクトルの保存容量を 75% 削減し、SciFact の nDCG@10 をベースラインの 99.58% 維持。独立した精度検証では埋め込みスループットが 69.10% 向上しました。
記事を読む : ProsGrow が RAG の生ベクトル保存容量を 75% 削減した方法文書 QA が同じ 8 基の GPU で毎時 45,978 件に到達。プロファイリングで隠れた負荷の偏りを特定し、3.07% の追加能力を引き出しました。
記事を読む : ProsGrow が毎時 45,978 件の文書質問への回答を実現した方法
ProsGrow AI は、本番導入、最適化、GPU 運用のための AI 推論最適化インフラを構築しています。
記事を読む : ProsGrow AI が Microsoft、Google Cloud、AWS のスタートアップ支援で AI インフラと推論システムを拡大
ProsGrow AI は NVIDIA Inception のメンバーとして、導入、最適化、GPU 運用のための AI 推論最適化インフラを構築しています。
記事を読む : ProsGrow AI が NVIDIA Inception プログラムに参加