मौजूदा GPU सिस्टम से भी अधिक काम लिया जा सकता है। अक्टूबर में किए गए हमारे MI300X अध्ययन में सर्विंग विन्यास के एक बदलाव से उन्हीं चार GPU पर प्रतिक्रिया शुरू होने का समय और आउटपुट क्षमता, दोनों बेहतर हुए। सॉफ़्टवेयर इमेज भी वही रही।
पहले टोकन तक का औसत समय 47.1% घटा। आउटपुट दर 16.7% बढ़ी। अपनी AMD अवसंरचना की उपयोगी कार्यक्षमता का आकलन कर रही टीमों के लिए यह नतीजा विस्तार की योजना बनाने से पहले सर्विंग विन्यास जाँचने का ठोस कारण देता है।
कम इंतज़ार, अधिक आउटपुट
हमने चार AMD MI300X GPU पर स्थानीय आधारभूत विन्यास की तुलना अपडेट किए गए विन्यास से की। इसमें DeepSeek V4.1 Flash और रिकॉर्ड किए गए ट्रेस पर आधारित 32 समवर्ती सत्र इस्तेमाल हुए।
| मापदंड | स्थानीय आधारभूत विन्यास | अपडेट किया गया विन्यास | बदलाव |
|---|---|---|---|
| पहले टोकन तक का औसत समय | 1.52 सेकंड | 0.80 सेकंड | 47.1% कम |
| आउटपुट दर, टोकन/सेकंड/GPU | 185.5 | 216.5 | 16.7% अधिक |
| मापन चरण में पूरे हुए अनुरोध | 2,818 | 3,247 | 15.2% अधिक |
ProsGrow के स्थानीय मापन, 25 अक्टूबर 2026। हर रन में एक घंटे की निर्धारित बेंचमार्क अवधि थी। प्रतिशतों की गणना मूल, बिना राउंड किए गए मापों से की गई है।
पहले टोकन का इंतज़ार घटने का अर्थ है कि परीक्षण किए गए सिस्टम ने औसतन लगभग 0.71 सेकंड पहले प्रतिक्रिया देना शुरू किया। अधिक आउटपुट दर का अर्थ है कि उसने बेंचमार्क के दौरान अधिक जनरेटेड आउटपुट दिया। अनुरोधों की संख्या इसी तुलना को दूसरे नज़रिए से दिखाती है; यह न तो अलग परिणाम है, न ही पूरे हुए व्यावसायिक कार्यों की गिनती।
एजेंट सेवा में संदर्भ का दोबारा उपयोग क्यों महत्त्वपूर्ण है
कई एआई अनुप्रयोग आगे के चरणों में जानकारी साथ लेकर चलते हैं: निर्देश, खोजी गई सामग्री या बातचीत के पिछले चरण। दोबारा इस्तेमाल योग्य संदर्भ का उपयोग करने से बातचीत आगे बढ़ने पर बार-बार होने वाली प्रोसेसिंग कम हो सकती है।
हमारे बदलाव ने सर्विंग स्टैक को इस अवसर का बेहतर लाभ लेने दिया। हमने GPU आवंटन और सॉफ़्टवेयर इमेज स्थिर रखी, फिर अपडेट किए गए सर्विंग विन्यास का प्रभाव मापा। यह तरीका बार-बार समान संदर्भ इस्तेमाल करने वाले अनुप्रयोगों के लिए प्रासंगिक है, जबकि लाभ का आकार उनके वास्तविक ट्रैफ़िक पर निर्भर करता है।
कोई नया, असंबंधित प्रॉम्प्ट लंबे समय से चल रहे एजेंट सत्र से अलग व्यवहार कर सकता है। इसलिए सिस्टम के मूल्यांकन में वे अनुरोध पैटर्न शामिल होने चाहिए जिन्हें अनुप्रयोग वास्तव में संभालेगा।
मौजूदा क्षमता का लाभ उठाएँ
अवसंरचना टीम के लिए व्यावहारिक सवाल यह है कि उपलब्ध संसाधनों के साथ कोई विन्यास आवश्यक प्रतिक्रिया समय और ट्रैफ़िक स्तर पूरा कर सकता है या नहीं। ये परिणाम MI300X पर जाँचने योग्य एक उपयोगी विन्यास की पहचान करते हैं।
ये नतीजे संचालन लागत में कोई निश्चित कमी या समर्थित उपयोगकर्ताओं की संख्या में सार्वभौमिक वृद्धि साबित नहीं करते। वे परिणाम कार्यभार, उपयोग स्तर, होस्टिंग मूल्य और गुणवत्ता की आवश्यकताओं पर निर्भर करते हैं। इस प्रयोग का व्यावसायिक मूल्य यह है कि अवसंरचना का निर्णय लेने से पहले टीम को मूल्यांकन के लिए एक मापा गया सुधार मिलता है।
ProsGrow की भूमिका इस मूल्यांकन को ठोस बनाना है: आधारभूत प्रदर्शन मापना, टाले जा सकने वाले दोहराव की पहचान करना और प्रासंगिक लोड पर संभावित विन्यास जाँचना। हमारा काम DeepSeek और ओपन-सोर्स सर्विंग इकोसिस्टम की क्षमताओं पर आधारित है।
मापन संबंधी जानकारी
इस तुलना में MI300X आवंटन, सॉफ़्टवेयर इमेज और अनुमानित जनरेशन सेटिंग समान हैं। दोनों रन में रिकॉर्ड किए गए AgentX ट्रेस और अनुमानित टोकन की स्वीकृति का सिमुलेशन इस्तेमाल हुआ। ये नियंत्रित इंजीनियरिंग बेंचमार्क हैं; ये वास्तविक सत्यापन वाली प्रोडक्शन प्रतिक्रियाओं से अलग हैं।
आउटपुट दर देखी गई अनुरोध अवधि पर मापी जाती है, जिसमें ट्रेस के विराम भी शामिल हैं। हर चुने गए विन्यास का एक औपचारिक रन है और कोई विश्वास-अंतराल नहीं दिया गया है। ये आँकड़े 32 सत्रों वाली संचालन स्थिति बताते हैं; इन्हें सभी ट्रैफ़िक स्तरों पर लागू नहीं मानना चाहिए।
MI300X का स्थानीय गुणवत्ता मूल्यांकन अभी पूरा नहीं हुआ है। कार्यभार-विशिष्ट गुणवत्ता और वास्तविक सर्विंग प्रदर्शन की जाँच प्रोडक्शन के लिए योग्यता तय करने का हिस्सा बनी हुई है। यहाँ दिए गए आँकड़े संदर्भ के दोबारा उपयोग वाली तुलना से हैं; बाद की वे प्रयोगात्मक सेटिंग शामिल नहीं हैं जिनके लाभ के लिए वास्तविक सत्यापन वाला परीक्षण अभी आवश्यक है।
अपने AMD सिस्टम की संभावनाएँ जानें
क्या आप AMD पर निजी DeepSeek चला रहे हैं या समर्पित GPU क्षमता का मूल्यांकन कर रहे हैं? ProsGrow प्रतिक्रिया समय, आउटपुट दर और आपके कार्यभार के लिए आवश्यक अवसंरचना के बीच संबंध जाँचने में मदद कर सकता है।