أطلقت NVIDIA نموذج Nemotron 3 Super في 11 مارس 2026، في خطوة تستهدف تلبية المتطلبات المتزايدة لأنظمة الذكاء الاصطناعي متعددة الوكلاء. يحمل النموذج 120 مليار معامل إجمالي، غير أنه لا يُفعّل سوى 12 مليار معامل أثناء الاستدلال، مما يحقق توازناً بين السعة وكفاءة الحوسبة.
تُنتج أنظمة الذكاء الاصطناعي متعددة الوكلاء ما يصل إلى 15 ضعف عدد الرموز المميزة مقارنةً بجلسات الدردشة العادية، إذ تُعيد إرسال السجل ومخرجات الأدوات وخطوات الاستدلال في كل دورة. تُسبب هذه «الانفجارات السياقية» ظاهرة الانجراف عن الهدف، حيث يفقد الوكيل تدريجياً توافقه مع الهدف الأصلي. فضلاً عن ذلك، يُشكّل نشر نماذج الاستدلال الضخمة لكل مهمة فرعية «ضريبة تفكير» تجعل التطبيقات متعددة الوكلاء مكلفة وبطيئة.
البنية المعمارية لـ Nemotron 3 Super
يعتمد Nemotron 3 Super على عمود فقري هجين يجمع بين Mamba-Transformer ومزيج الخبراء (MoE). تتولى طبقات Mamba-2 معالجة الجزء الأكبر من التسلسلات باستخدام نماذج الفضاء الحالي، التي توفر تعقيداً زمنياً خطياً نسبةً إلى طول التسلسل. يجعل هذا التصميم نافذة السياق الأصلية البالغة مليون رمز مميز قابلةً للتطبيق عملياً في أعباء العمل الحقيقية، كالاستدلال على قواعد الأكواد الكاملة أو مجموعات المستندات الطويلة.
تتخلل طبقات انتباه Transformer العمق الرئيسي للنموذج للحفاظ على الاسترجاع الترابطي الدقيق. وتعمل طبقات MoE على توسيع عدد المعاملات الفعلية دون تكاليف الحوسبة الكثيفة، مما يُبقي زمن الاستجابة منخفضاً عند تشغيل وكلاء متعددين في آنٍ واحد.
مزيج الخبراء الكامن والتنبؤ بالرموز المتعددة
يُقدّم النموذج تقنية مزيج الخبراء الكامن (Latent MoE)، التي تضغط تضمينات الرموز في فضاء كامن منخفض الرتبة قبل اتخاذ قرارات التوجيه. يُتيح هذا النهج للنموذج استشارة أربعة أضعاف عدد الخبراء المتخصصين بالتكلفة الحسابية ذاتها لبنية MoE القياسية. كما يصبح التخصص الدقيق ممكناً، مع تفعيل خبراء مستقلين لمهام مثل بناء جملة Python مقابل منطق SQL.
يُدرّب التنبؤ بالرموز المتعددة (MTP) النموذج على التنبؤ بعدة رموز مستقبلية في آنٍ واحد من كل موضع. ينتج عن ذلك مكاسب قابلة للقياس في مهام التفكير المتسلسل، ويُتيح فك التشفير التخميني المدمج أثناء الاستدلال، مما يُحقق تسريعاً يصل إلى ثلاثة أضعاف في مهام التوليد المنظم كالأكواد واستدعاءات الأدوات — دون الحاجة إلى نموذج مسودة منفصل.
مسار التدريب وحجم البيانات
يُدرَّب Nemotron 3 Super مسبقاً على 25 تريليون رمز مميز باستخدام تنسيق NVFP4، وهو تنسيق النقطة العائمة 4-بت من NVIDIA المُحسَّن لأجهزة NVIDIA Blackwell. يمتد مجموعة بيانات التدريب المسبق على 10 تريليونات رمز مميز فريد منتقى. يعني التدريب الأصلي بدقة منخفضة أن النموذج يتعلم الدقة ضمن قيود الحساب 4-بت منذ أول تحديث للتدرج، بدلاً من الضغط بعد التدريب.
يعقب التدريب المسبق ضبط دقيق خاضع للإشراف باستخدام نحو 7 ملايين عينة مستخلصة من مجموعة بيانات ما بعد التدريب الأشمل البالغة 40 مليون عينة. يُنقّح التعلم المعزز بعد ذلك النموذج عبر 21 تكويناً بيئياً باستخدام NVIDIA NeMo Gym وNVIDIA NeMo RL، مُولّداً أكثر من 1.2 مليون تمرير بيئي خلال التدريب.
أداء المعايير القياسية والنشر
على معيار PinchBench، الذي يقيس أداء النماذج اللغوية بوصفها النواة الاستدلالية لوكيل OpenClaw، يُسجّل Nemotron 3 Super نسبة 85.6% عبر مجموعة الاختبار الكاملة. وتُفيد NVIDIA بأن هذا يجعله النموذج المفتوح الأعلى أداءً في فئته. كما يُحقق النموذج أكثر من خمسة أضعاف إنتاجية Nemotron Super السابق، مع تحسن أربعة أضعاف في كفاءة الذاكرة والحوسبة على أجهزة NVIDIA B200 مقارنةً بـ FP8 على NVIDIA H100.
“Nemotron 3 Super مثالي لهذا الاستخدام. على سبيل المثال، في تطوير البرمجيات، يمكن معالجة طلبات الدمج البسيطة بواسطة Nemotron 3 Nano، بينما تُعالَج مهام الترميز المعقدة التي تتطلب فهماً أعمق لقاعدة الكود بواسطة Nemotron 3 Super.”
كريس أليكسيوك وشينتان باتيل، NVIDIA
تضع NVIDIA النموذج ضمن نمط نشر «Super + Nano». يتولى Nemotron 3 Nano الخطوات الفردية المحددة في سير عمل الوكيل، فيما يُدير Nemotron 3 Super مهام التخطيط والاستدلال المعقدة متعددة الخطوات. ويمكن تصعيد مهام الحوسبة على مستوى الخبراء إلى نماذج مملوكة.
الأوزان والبيانات والوصفات المفتوحة
يُعدّ Nemotron 3 Super مفتوح المصدر بالكامل، إذ تتوفر أوزان النموذج على Hugging Face وعبر NVIDIA NIM. تُصدر NVIDIA أيضاً وصفة التدريب والتقييم الكاملة، التي تغطي المسار بأكمله من التدريب المسبق حتى المحاذاة. تتوفر كتيبات النشر لـ vLLM وSGLang وNVIDIA TensorRT LLM، مع قوالب تكوين وإرشادات ضبط الأداء.
تشمل مجموعات البيانات المفتوحة 10 تريليونات رمز مميز للتدريب المسبق، و40 مليون عينة لما بعد التدريب، ونحو 10 من أصل 37 مجموعة بيانات للتعلم المعزز المستخدمة خلال التدريب. يتوفر النموذج أيضاً عبر Baseten وCloudflare وCoreweave وDeepInfra وFireworks AI وGoogle Cloud وعدد من منصات الحوسبة السحابية الأخرى. تدعم كتيبات الضبط الدقيق سير عمل LoRA وSFT وGRPO وDAPO باستخدام NVIDIA NeMo Megatron-Bridge وNeMo Automodel.