في تطبيق ذكاء اصطناعي يقرأ سياقاً كبيراً قبل تقديم الإجابة، قد يكون وقت معالجة المدخلات مهماً بقدر سرعة التوليد. لذلك قد يغيّر تحسين الطلب كاملاً أيّ إعداد لخدمة الاستدلال يقدم التجربة الأفضل.
في دراستنا لـ Kimi K3، رفعت ProsGrow معدل إنتاج مخرجات الطلب الكامل بنسبة 50.1% مقارنة بإعداد ATOM القائم لدينا على أجهزة AMD نفسها. جاءت النتيجة من تغييرات في منظومة الخدمة، مع استخدام نسخة أوزان النموذج الأصلية نفسها وأحجام طلبات مضبوطة. يغيّر الإعداد التجريبي الدقة العددية في أجزاء من بيئة التشغيل؛ وما زال التحقق الأوسع من الجودة ضرورياً.
النتيجة: انتظار أقل للاستجابة الكاملة
استخدمت قياساتنا بتاريخ 22 سبتمبر نموذج Kimi K3 على ثماني وحدات AMD MI325X. احتوى كل طلب على 8,192 رمز إدخال بالضبط، وولّد 256 رمز إخراج، مع تشغيل طلب واحد في كل مرة.
| المقياس | خط أساس ATOM المحلي | إعداد ProsGrow التجريبي | التغيّر |
|---|---|---|---|
| وسيط زمن الطلب الكامل | 9.57 ثانية | 6.37 ثانية | أقل بنسبة 33.4% |
| معدل إنتاج مخرجات الطلب الكامل | 26.76 رمز/ثانية | 40.17 رمز/ثانية | أعلى بنسبة 50.1% |
يُحسب معدل إنتاج الطلب الكامل بقسمة رموز المخرجات على زمن استلام الاستجابة الكاملة، بما في ذلك معالجة المدخلات والنقل. هذه قياسات للنظام بأكمله، وليست معدلات لكل GPU. وتصف النسبتان التحسن نفسه من منظورين مختلفين، ولا ينبغي جمعهما.
بالنسبة إلى فرق الذكاء الاصطناعي الخاص، يدل ذلك على أن إعداد خدمة الاستدلال يستحق التقييم إلى جانب مواصفات الأجهزة. وقد يكون تقليل انتظار استجابة ثابتة الحجم مهماً للتطبيقات التي تجمع بين سياق إدخال كبير ومخرجات مولّدة موجزة.
نتيجة 4.41× توضح أهمية عبء العمل
قارنّا الإعداد التجريبي أيضاً بمهايئ محلي مبني حول بيئة Tutel من Microsoft، باستخدام المضيف نفسه ونسخة الأوزان الأصلية نفسها وتجهيزات الطلبات نفسها وبرنامج العميل نفسه.
لعبء العمل ذي 8K رمز إدخال و256 رمز إخراج، حقق مهايئ Tutel معدل 9.10 رمز مخرجات/ثانية للطلب الكامل، مقابل 40.17 لإعداد ATOM المضبوط، أي 4.41× معدل الطلب الكامل. وبلغ وسيط زمن الطلب 28.13 ثانية للمهايئ و6.37 ثانية لإعداد ATOM المضبوط.
ظل Tutel يولّد الرموز بسرعة أكبر بعد بدء فك الترميز: 78.33 مقابل 47.67 رمز/ثانية. كما أنهى طلباتنا الأقصر، ذات 512 رمز إدخال، بسرعة أكبر. لكن طول وقت معالجة النص المدخل في المهايئ المختبَر غيّر النتيجة عند إدخال بحجم 8K.
الدرس التجاري محدد: اختر إعداد خدمة الاستدلال وفق أطوال الطلبات وأحجام الاستجابات التي يستخدمها تطبيقك فعلياً. هذه مقارنة محلية بين بيئات تشغيل، وليست ادعاءً عاماً بأن إحداها أسرع في جميع أعباء العمل.
من أين جاء التحسن
فحصت ProsGrow كيفية استخدام منظومة الخدمة لأجهزة AMD أثناء معالجة المدخلات والتوليد، ثم اختبرت إعداد تشغيل يجمع تغييرات متعددة. واستند العمل إلى منظومتي ATOM وAMD AITER.
يربط هذا النهج التحسين بالطلب كاملاً. كما يوضح مفاضلة الدقة العددية وجودة النتائج: فاستخدام نسخة الأوزان الأصلية نفسها لا يعني أن إعدادات الخدمة المختلفة تنفّذ عمليات عددية متطابقة. تختلف سياسات الدقة العددية لبيئة التشغيل والذاكرة المخبأة في هذه المقارنة.
ما الذي تحققنا منه
استخدم كل إعداد طلبي تهيئة وخمسة طلبات مقاسة عند كل طول إدخال. كان فك الترميز التخميني معطلاً. ودُققت تدفقات الاستجابات المحفوظة للتحقق من أعداد الرموز والأزمنة، واجتازت الإعدادات الثلاثة فحوص الحساب واسترجاع علامات محددة من السياق.
لا تثبت هذه الفحوص الوظيفية تكافؤ دقة النموذج. ظل الإعداد التجريبي اختيارياً ولم يحل محل الخدمة المعتادة. وهذه القياسات نتيجة تطويرية، دون فواصل ثقة أو ضمان لمستوى خدمة في الإنتاج.
بالنسبة إلى الفرق التي تدرس استضافة Kimi الخاصة، تتمثل الخطوة التالية في التقييم باستخدام مدخلات وأطوال استجابات ومستويات تزامن ومعايير جودة مهام ممثلة للاستخدام. ويمكن لـ ProsGrow المساعدة في ربط هذه المتطلبات بإعداد تشغيل مقاس الأداء.
لمناقشة مشروع تجريبي للاستدلال الخاص، راسل contact@prosgrow.ai.