एआई सहायक के साथ काम करते समय प्रतिक्रिया की गति मायने रखती है। तेज़ी से आता टेक्स्ट किसी स्पष्टीकरण को समझने, जनरेटेड कोड की जाँच करने या अगला सवाल तय करने में मदद कर सकता है।
अक्टूबर के हमारे DeepSeek V4.1 Flash अध्ययन में ProsGrow ने चार MI325X GPU पर डिकोडिंग के दौरान टोकन मिलने की मध्यिका गति में 492.6 टोकन/सेकंड/उपयोगकर्ता मापे। InferenceX पर प्रकाशित, समान चार-GPU और एक-सत्र वाले H200 संदर्भ परिणाम में यह मान 332.2 था। हमारा परिणाम 48.3% अधिक था।
यह बेंचमार्क परिणाम अभी मूल्यांकनाधीन है: इस विन्यास का स्थानीय गुणवत्ता मूल्यांकन बाकी है। यह इंटरैक्टिव DeepSeek कार्यभार के लिए AMD का मूल्यांकन करने का कारण देता है, लेकिन प्रोडक्शन के लिए योग्यता जाँचना अभी पूरा नहीं हुआ है।
शीर्षक के पीछे के आँकड़े
| मापदंड | प्रकाशित H200 संदर्भ परिणाम | MI325X पर ProsGrow | अंतर |
|---|---|---|---|
| डिकोडिंग में टोकन मिलने की मध्यिका गति, टोकन/सेकंड/उपयोगकर्ता | 332.2 | 492.6 | +48.3% |
| आउटपुट दर, टोकन/सेकंड/GPU | 37.45 | 42.83 | +14.4% |
DeepSeek V4.1 Flash; मॉडल को आवंटित चार GPU; एक समवर्ती सत्र। H200 संदर्भ: 21 सितंबर 2026। ProsGrow का मापन: 20 अक्टूबर 2026।
डिकोडिंग की इंटरैक्टिव गति प्रतिक्रिया शुरू होने के बाद टोकन जनरेशन की रफ़्तार मापती है। आउटपुट दर बेंचमार्क की अनुरोध अवधि में दिया गया आउटपुट मापती है, जिसमें बातचीत के चरणों के बीच के विराम भी शामिल हैं। इसलिए शीर्षक का 48.3% स्ट्रीमिंग की गति बताता है, न कि पूरी प्रतिक्रिया या व्यावसायिक कार्य के 48.3% तेज़ पूरा होने का दावा।
चुने गए संदर्भ की तुलना में दोनों मापदंड बेहतर हुए, लेकिन अलग-अलग अनुपात में।
AMD पर तैनाती का एक जाँचने योग्य विकल्प
निजी कोडिंग सहायक, दस्तावेज़ उपकरण या संवादात्मक अनुप्रयोग की योजना बना रही टीमों के लिए ये परिणाम मूल्यांकन योग्य अवसंरचना विकल्प बढ़ाते हैं। मॉडल, कार्यभार और सर्विंग सॉफ़्टवेयर किसी GPU सिस्टम के उपलब्ध प्रदर्शन को काफ़ी बदल सकते हैं।
व्यावसायिक अवसर यह है कि अवसंरचना को आपके अनुप्रयोग के आवश्यक अनुभव के आधार पर चुना जाए। कम संख्या में विलंब-संवेदनशील सत्रों के लिए अनुकूलित सेवा के चुनाव, अनेक समवर्ती अनुरोधों के लिए बनी सेवा से अलग हो सकते हैं।
एक सत्र का परिणाम दूसरे समवर्ती स्तरों पर लागू नहीं मानना चाहिए। हमने जिन आठ-सत्र वाले विन्यासों की जाँच की, वे अब भी संबंधित प्रकाशित H200 संदर्भ परिणामों से पीछे थे। यह परिणाम किसी विशिष्ट तैनाती के निर्णय का समर्थन करता है; यह दावा नहीं करता कि एक GPU सभी कार्यभारों में बेहतर है।
ProsGrow ने क्या बदला
हमने सार्वजनिक vLLM ROCm सर्विंग स्टैक में ऐसे सुधारों को एकीकृत करके जाँचा जो जनरेशन के दौरान अतिरिक्त ओवरहेड घटाते हैं। ProsGrow का काम उपयुक्त विन्यास चुनने, स्थानीय नियंत्रक रन से उसकी तुलना करने और रिकॉर्ड किए गए एजेंट कार्यभार पर उसे मापने पर केंद्रित था।
मूल कार्यान्वयन अपस्ट्रीम vLLM समुदाय से आता है। इस क्षमता को तैनाती के विकल्प में बदलने के लिए यह समझना आवश्यक है कि वह कहाँ मदद करती है, कौन-सा हार्डवेयर उसे संभाल सकता है और कौन-सी जाँच अभी बाकी है।
शीर्षक के पीछे यही काम है: सॉफ़्टवेयर की किसी क्षमता को विशेष कार्यभार से जोड़ना, फिर परिणाम मापना।
मापन संबंधी जानकारी
H200 के आँकड़े एक प्रकाशित InferenceX रन से हैं, जिसे हमारे 19 अक्टूबर के स्नैपशॉट में पंक्ति 442749 के रूप में रखा गया है। यह अलग होस्ट और सॉफ़्टवेयर विन्यास वाले पुराने संदर्भ से तुलना है; यह एक साथ किया गया केवल हार्डवेयर का परीक्षण या अपडेट की गई लीडरबोर्ड प्रविष्टि नहीं है।
हमारा स्थानीय परिणाम अनुमानित टोकन की स्वीकृति के सिमुलेशन वाले एक घंटे के निर्धारित AgentX रन से है। डिकोडिंग की मध्यिका इंटरैक्टिव गति संग्रहीत बेंचमार्क की परिभाषा, यानी टोकन के बीच के समय के व्युत्क्रम, का पालन करती है। इसे पहले टोकन तक के समय या कार्य के शुरू से अंत तक के समय का विकल्प नहीं मानना चाहिए। इस विन्यास के लिए एक औपचारिक प्रदर्शन रन है और कोई विश्वास-अंतराल नहीं दिया गया है।
प्रोडक्शन के लिए योग्यता तय करने से पहले लंबित स्थानीय गुणवत्ता मूल्यांकन आवश्यक अगला कदम है। अनुप्रयोग-विशिष्ट शुद्धता, वास्तविक सत्यापन के साथ प्रदर्शन और लक्षित समवर्ती स्तर भी जाँचना होगा।
अपने कार्यभार के लिए AMD पर DeepSeek का मूल्यांकन करें
ProsGrow निजी इन्फरेंस और समर्पित AMD GPU तैनाती के विकल्प समझने में टीमों की मदद करता है। हम आपके अनुप्रयोग के लिए महत्त्वपूर्ण प्रॉम्प्ट और प्रतिक्रिया-समय लक्ष्यों से शुरू करके, उन आवश्यकताओं के अनुसार किसी विन्यास का मूल्यांकन कर सकते हैं।