ProsGrow Managed Inference के साथ AMD GPU पर GLM-5.2 की लगभग 3× आउटपुट दर

निजी एआई सहायक बनाने वाली टीम के लिए GPU क्षमता का मूल्य तब है जब वह पूरा हुआ काम देती है। कोई मॉडल टोकन तेज़ी से जनरेट कर सकता है, फिर भी लंबे संदर्भ को संभालने, पिछली बातचीत की स्थिति वापस लाने या एजेंट वर्कफ़्लो के चरणों के बीच प्रतीक्षा में काफ़ी समय लगा सकता है।

इसी अंतर ने हमारे GLM-5.2 अध्ययन की दिशा तय की। हमने जाँचा कि दोबारा इस्तेमाल योग्य संदर्भ को संभालने का तरीका बेहतर करने पर वही आठ AMD MI325X GPU कितना अधिक आउटपुट दे सकते हैं। मॉडल चेकपॉइंट और संख्यात्मक परिशुद्धता समान रहे।

लगभग तीन गुनी आउटपुट दर

6 अक्टूबर के हमारे प्रयोग में मापी गई आउटपुट दर प्रति GPU 3.03 से बढ़कर 9.05 टोकन प्रति सेकंड हुई। आठ-GPU सर्वर पर यह 24.22 से 72.43 आउटपुट टोकन प्रति सेकंड था: हमारे स्थानीय मूल विन्यास की तुलना में 2.99× परिणाम।

पहले टोकन के मापन परिणाम का एक और पक्ष दिखाते हैं: इस कार्यभार में लंबे इंतज़ार काफ़ी छोटे हुए। टोकन स्ट्रीमिंग की मध्यिका गति सिर्फ़ 2.1% बदली, इसलिए आउटपुट दर में सुधार को पूरे सर्विंग कार्यभार के परिणाम के रूप में समझना चाहिए, न कि हर टोकन तीन गुना तेज़ जनरेट होने के दावे के रूप में।

पूरे हुए जवाबों का मिश्रण बदलने के साथ पूरे अनुरोध के समय की मध्यिका 6.73 से बढ़कर 7.92 सेकंड हुई। इसलिए अधिक कुल आउटपुट दर का अर्थ यह नहीं था कि हर प्रतिक्रिया-समय मापदंड बेहतर हुआ।

उपयोगी संदर्भ का लाभ अधिक समय तक लें

एजेंट वर्कफ़्लो अक्सर उस सामग्री पर लौटते हैं जिसे वे पहले ही प्रोसेस कर चुके हैं। उस काम को सुरक्षित रखने से समान संदर्भ को दोबारा संसाधित करने की आवश्यकता घट सकती है, खासकर जब कई बातचीत मेमोरी के लिए प्रतिस्पर्धा कर रही हों।

हमारा तरीका सर्वर के मेमोरी संसाधनों में संदर्भ के दोबारा उपयोग को समन्वित करने पर केंद्रित था। हमने GPU मेमोरी के साथ उपलब्ध होस्ट मेमोरी इस्तेमाल की, सर्विंग नीति समायोजित की और पूरे बेंचमार्क कार्यभार पर विन्यास का व्यवहार जाँचा। सर्वर काउंटरों ने कुल कैश पुनः उपयोग 83.4% से बढ़कर 96.6% दिखाया।

व्यावसायिक अर्थ व्यावहारिक है: तैनाती का मूल्यांकन करते समय GPU कंप्यूट के साथ मेमोरी और संदर्भ के व्यवहार को भी जाँचना चाहिए। अगला GPU खरीदने की आवश्यकता से पहले मौजूदा सर्वर में अतिरिक्त क्षमता मिल सकती है। उसका आकार अनुप्रयोग के ट्रैफ़िक और प्रतिक्रिया की आवश्यकताओं पर निर्भर करता है।

प्रकाशित संदर्भ से इसकी तुलना

हमारी मापी गई दर 9.05 टोकन/सेकंड/GPU, 25 सितंबर 2026 के InferenceX GLM-5.2 संदर्भ की 4.14 टोकन/सेकंड/GPU दर से भी 2.19× थी। वह पंक्ति 443210 है, जिसमें आठ MI325X GPU और चार समवर्ती अनुरोध हैं। टोकन स्ट्रीमिंग की मध्यिका गति उस संदर्भ से 3.6% कम थी। यह पुराने प्रकाशित परिणाम से तुलना है; रनटाइम की पहचान और रन की परिस्थितियों में अंतर के कारण इसे हूबहू पुनरुत्पादन नहीं कहा जा सकता। प्रकाशित संदर्भ रन

परिणाम क्या दर्शाता है

प्रदर्शन रन से पहले वास्तविक सत्यापन वाली अलग जाँचों में छोटे और लंबे, दोनों प्रॉम्प्ट की स्थितियों में 128 में से 125 गणित प्रश्न सही हुए। आधारभूत विन्यास में सही कोई उत्तर गलत नहीं हुआ। ये जाँच परीक्षण किए गए विन्यास का समर्थन करती हैं; ग्राहकों के वर्कफ़्लो के लिए अलग गुणवत्ता मूल्यांकन आवश्यक है।

प्रदर्शन परिणाम एक-एक घंटे के AgentX परीक्षणों की एक क्रमिक जोड़ी से है, जिसमें अनुमानित टोकन की स्वीकृति का सिमुलेशन इस्तेमाल हुआ। कुछ जवाब माँगी गई लंबाई से छोटे थे और दोनों रन अलग जवाब-मिश्रण से गुज़रे, जिनमें इनपुट लंबाई में मामूली अंतर था। सभी पूरे हुए जवाब रखे गए। यह परिणाम चार समवर्ती अनुरोधों पर GLM-5.2 FP8 के लिए है; यह प्रोडक्शन क्षमता या लागत की गारंटी नहीं है।

क्या आप निजी GLM होस्टिंग की योजना बना रहे हैं या समर्पित AMD GPU अवसंरचना का मूल्यांकन कर रहे हैं? ProsGrow आपके मॉडल, कार्यभार और प्रतिक्रिया लक्ष्यों का आकलन करने तथा क्षमता बढ़ाने से पहले जाँचने योग्य सर्विंग बदलाव पहचानने में मदद कर सकता है। पायलट पर चर्चा करें