निजी एआई सेवा बनाने वाली टीम के लिए उपयोगी क्षमता एक व्यावसायिक सवाल है। सिस्टम कितना काम संभाल सकता है और ट्रैफ़िक बढ़ने पर लोगों को प्रतिक्रिया के लिए कितना इंतज़ार करना होगा?
अक्टूबर के हमारे DeepSeek V4.1 Flash अध्ययन में अपडेट किए गए सर्विंग विन्यास ने समान दो-GPU आवंटन और 32 समवर्ती बेंचमार्क सत्रों पर 22 सितंबर के InferenceX MI325X संदर्भ से प्रति GPU 60.1% अधिक आउटपुट दर दी। उसी मशीन पर हमारे अपने आधारभूत विन्यास की तुलना में सुधार 60.8% था।
हार्डवेयर का आवंटन वही रहा। सुधार का अवसर इस बात में था कि सर्विंग सॉफ़्टवेयर उसका उपयोग कैसे करता है।
नतीजा: समान GPU आवंटन से अधिक आउटपुट
| विन्यास | आउटपुट दर, टोकन/सेकंड/GPU |
|---|---|
| प्रकाशित InferenceX MI325X संदर्भ | 227.8 |
| ProsGrow का स्थानीय आधारभूत विन्यास | 226.7 |
| ProsGrow का अनुकूलित विन्यास | 364.6 |
DeepSeek V4.1 Flash; मॉडल के एक इंस्टेंस को आवंटित दो GPU; रिकॉर्ड किए गए ट्रेस पर आधारित 32 समवर्ती सत्र। सार्वजनिक संदर्भ 22 सितंबर 2026 का है; ProsGrow के स्थानीय मापन 20 अक्टूबर के हैं।
स्थानीय तुलना में प्रतिक्रिया शुरू होने के समय में भी बड़ा बदलाव दिखा। पहले टोकन तक का औसत समय 4.70 से 1.09 सेकंड हो गया, यानी 76.8% की कमी। एक घंटे के बेंचमार्क में अनुकूलित रन ने मापन चरण के 2,785 अनुरोध पूरे किए, जबकि आधारभूत रन ने 1,896 पूरे किए।
ये मापदंड अलग-अलग लाभ बताते हैं: अधिक आउटपुट क्षमता, जनरेशन शुरू होने से पहले कम इंतज़ार और अधिक अनुरोधों का प्रसंस्करण। पूरे हुए अनुरोध बेंचमार्क के अनुरोध हैं, पूरे हुए ग्राहक कार्यों की संख्या नहीं।
निजी एआई की क्षमता के लिए इसका अर्थ
एक सहायक कई चरणों में उन्हीं दस्तावेज़ों, निर्देशों और बातचीत के इतिहास को फिर से देख सकता है। यदि सर्विंग स्टैक उस काम को बार-बार करता है जिसका दोबारा उपयोग संभव है, तो उपलब्ध GPU क्षमता अनुप्रयोग के लिए कम उपयोगी काम कर पाती है।
हमारा परिणाम इन्फरेंस सिस्टम का विस्तार करने से पहले एक व्यावहारिक कदम सुझाता है: प्रतिनिधि ट्रैफ़िक पर मौजूदा सिस्टम को मापें और उसके सर्विंग विन्यास का मूल्यांकन करें। संदर्भ के दोबारा उपयोग वाले समान पैटर्न के कार्यभारों में सॉफ़्टवेयर बदलाव उसी GPU आवंटन के भीतर अतिरिक्त क्षमता दे सकते हैं।
यह अतिरिक्त क्षमता की संभावना है जिसकी जाँच होनी चाहिए। इसे प्रति अनुरोध लागत के अनुमान में बदलने के लिए वास्तविक होस्टिंग मूल्य, उपयोग स्तर, CPU और मेमोरी संसाधन तथा अनुप्रयोग के गुणवत्ता लक्ष्य जानना आवश्यक है। इस अध्ययन में हमने ग्राहक की लागत में बचत नहीं मापी।
हमें सुधार कैसे मिला
ProsGrow ने अपडेट किए गए ओपन-सोर्स सर्विंग स्टैक को एजेंट के अलग-अलग चरणों में योग्य संदर्भ के बेहतर पुनः उपयोग के साथ जोड़ा। हमने स्थानीय आधारभूत प्रदर्शन मापा, संभावित विन्यासों का मूल्यांकन किया और पूर्ण बेंचमार्क रन की तुलना की।
यह काम DeepSeek और vLLM ROCm इकोसिस्टम पर आधारित है। हमारा योगदान तैनाती में सुधार के अवसर की पहचान करना, विन्यास को एकीकृत करना और MI325X पर उसका व्यवहार मापना था। 60.8% का स्थानीय लाभ सॉफ़्टवेयर और विन्यास के संयुक्त अपडेट को दर्शाता है।
यह हमारी पहले की DeepSeek प्रतिक्रिया-समय संबंधी स्टडी के कार्यभार-केंद्रित दृष्टिकोण को आगे बढ़ाता है। वह अध्ययन और अक्टूबर के ये मापन अलग प्रयोग हैं; इनके लाभ के प्रतिशतों को जोड़ना नहीं चाहिए।
मापन संबंधी जानकारी
ये संग्रहीत InferenceX AgentX प्रोटोकॉल का उपयोग करके प्राप्त ProsGrow के स्थानीय इंजीनियरिंग परिणाम हैं: रिकॉर्ड किए गए एजेंट ट्रेस, एक घंटे के निर्धारित रन और अनुमानित टोकन की स्वीकृति का सिमुलेशन। सिमुलेशन प्रदर्शन-परीक्षण की एक शर्त नियंत्रित करता है; प्रोडक्शन प्रतिक्रियाओं के लिए वास्तविक सत्यापन और अलग मूल्यांकन आवश्यक है। आउटपुट दर देखी गई अनुरोध अवधि के जनरेटेड आउटपुट को गिनती है, जिसमें ट्रेस के विराम भी शामिल हैं।
शीर्षक हमारे मापन की तुलना एक तारीख सहित प्रकाशित सार्वजनिक संदर्भ रन से करता है, जिसे हमारे 19 अक्टूबर के स्नैपशॉट में पंक्ति 442868 के रूप में रखा गया है। यह अपडेट की गई InferenceX रैंकिंग का दावा नहीं है। स्थानीय पहले-और-बाद की जोड़ी उसी मशीन पर तुलना देती है। यहाँ दिए गए हर स्थानीय विन्यास का एक औपचारिक रन है और कोई विश्वास-अंतराल नहीं दिया गया है।
एक अलग, सीमित गुणवत्ता जाँच में GPU आवंटन और समवर्ती स्तर अलग थे। वह इस दो-GPU, 32-सत्र वाले विन्यास की गुणवत्ता स्थापित नहीं करती। ग्राहक कार्यों की गुणवत्ता और वास्तविक सर्विंग प्रतिक्रिया समय की जाँच प्रोडक्शन के लिए योग्यता तय करने का हिस्सा बनी हुई है।
अपने सिस्टम में उपलब्ध क्षमता पहचानें
ProsGrow आपके अनुरोधों के मिश्रण, ट्रैफ़िक, प्रतिक्रिया-समय लक्ष्यों और अवसंरचना बजट के अनुसार निजी DeepSeek होस्टिंग का मूल्यांकन करने में मदद कर सकता है। मापे गए आधारभूत प्रदर्शन से शुरू करें, फिर जाँचें कि सही सर्विंग विन्यास कितनी क्षमता वापस उपलब्ध करा सकता है।