एनवीडिया ने नेमोट्रॉन 3 सुपर जारी किया, एजेंटिक वर्कलोड के लिए बनाया गया 120 अरब का ओपन एआई मॉडल।

मुख्य बातें:

• Nvidia ने Nemotron 3 Super जारी किया, एक 120 अरब पैरामीटर वाला खुला MoE मॉडल जो प्रत्येक फॉरवर्ड पास में केवल 12.7 अरब पैरामीटर सक्रिय करता है।
• नेमोट्रॉन 3 सुपर 8k-इन/64k-आउट सेटिंग्स पर एजेंट वर्कलोड में Qwen3.5-122B-A10B की तुलना में 7.5 गुना अधिक थ्रूपुट प्रदान करता है।
• यह मॉडल Nvidia Nemotron Open Model License के तहत पूरी तरह से ओपन है, और इसके चेकपॉइंट और ट्रेनिंग डेटा Hugging Face पर उपलब्ध हैं।

एनवीडिया ने Qwen3.5-122B की तुलना में 7.5 गुना अधिक थ्रूपुट लाभ के साथ नेमोटरॉन 3 सुपर लॉन्च किया

नवीनतम एनवीडिया मॉडल एक मिक्स्चर-ऑफ़-एक्सपर्ट्स (MoE) आर्किटेक्चर का उपयोग करके प्रति फॉरवर्ड पास केवल 12.7 बिलियन पैरामीटर सक्रिय करता है, जिसका अर्थ है कि इसके अधिकांश वेट इंफरेंस के दौरान निष्क्रिय रहते हैं। यह डिज़ाइन विकल्प सीधे उन दो समस्याओं को लक्षित करता है जिनका सामना डेवलपर्स को मल्टी-स्टेप एआई एजेंट्स को तैनात करते समय होता है: विस्तारित रीजनिंग चेन की अतिरिक्त लागत और टोकन का बढ़ता उपयोग, जो मल्टी-एजेंट पाइपलाइनों में 15 गुना तक बढ़ सकता है।

नेमोट्रॉन 3 सुपर, दिसंबर 2025 के नेमोट्रॉन 3 नैनो के बाद, एनवीडिया के नेमोट्रॉन 3 परिवार का दूसरा मॉडल है। एनवीडिया ने लगभग 10 मार्च, 2026 को इसकी रिलीज़ की घोषणा की।

यह मॉडल 88 परतों में एक हाइब्रिड मम्बा-ट्रांसफॉर्मर बैकबोन का उपयोग करता है। मम्बा-2 ब्लॉक रैखिक-समय दक्षता के साथ लंबी अनुक्रमणों को संभालते हैं, जबकि ट्रांसफॉर्मर अटेंशन परतें सटीक रिकॉल को संरक्षित करती हैं। यह संयोजन मॉडल को एक मिलियन टोकन तक की संदर्भ खिड़कियों के लिए नेटिव सपोर्ट देता है, बिना शुद्ध-अटेंशन डिज़ाइनों में सामान्य मेमोरी पेनल्टी के।

एनवीडिया ने एक LatentMoE राउटिंग सिस्टम भी बनाया है जो टोकन एम्बेडिंग्स को 512 एक्सपर्ट्स प्रति लेयर पर भेजने से पहले उन्हें एक लो-रैंक स्पेस में संपीड़ित करता है, और एक समय में 22 को सक्रिय करता है। कंपनी का कहना है कि यह मानक MoE दृष्टिकोणों की तुलना में समान इंफरेंस लागत पर लगभग चार गुना अधिक एक्सपर्ट्स की अनुमति देता है, और विशेषज्ञ स्तर पर पाइथन लॉजिक को SQL हैंडलिंग से अलग करने जैसे बेहतर कार्य विशेषज्ञता को सक्षम करता है।

मल्टी-टोकन प्रेडिक्शन लेयर्स, दो साझा-वज़न वाले हेड्स का उपयोग करके, चेन-ऑफ-थॉट जनरेशन को तेज़ करती हैं और नेटिव स्पेक्युलेटिव डीकोडिंग की अनुमति देती हैं। संरचित कार्यों पर, एनवीडिया तीन गुना तक तेज़ जनरेशन की रिपोर्ट करती है।

मॉडल को दो चरणों में 25 ट्रिलियन टोकन पर प्री-ट्रेन किया गया था। पहले चरण में व्यापक डेटा के 20 ट्रिलियन टोकन का उपयोग किया गया। दूसरे चरण में बेंचमार्क प्रदर्शन के लिए ट्यून किए गए पांच ट्रिलियन उच्च-गुणवत्ता वाले टोकन का उपयोग किया गया। 51 बिलियन टोकन पर एक अंतिम एक्सटेंशन चरण ने नेटिव संदर्भ को दस लाख टोकन तक बढ़ा दिया। पोस्ट-ट्रेनिंग में लगभग सात मिलियन नमूनों पर सुपरवाइज्ड फाइन-ट्यूनिंग और 21 वातावरणों में 1.2 मिलियन से अधिक रोलआउट के साथ रिइन्फोर्समेंट लर्निंग शामिल थी।

बेंचमार्क में, नेमोट्रॉन 3 सुपर ने OpenHands का उपयोग करके MMLU-Pro पर 83.73, AIME25 पर 90.21, और SWE-Bench पर 60.47 अंक प्राप्त किए। PinchBench पर, यह 85.6 प्रतिशत तक पहुँच गया, जो अपनी श्रेणी के ओपन मॉडल के बीच सबसे अधिक रिपोर्ट किया गया स्कोर है। लॉन्ग-कॉन्टेक्स्ट मूल्यांकन पर, इसने RULER 1M पर 91.64 का स्कोर किया।

GPT-OSS-120B की तुलना में, नेमोट्रॉन 3 सुपर 8k इनपुट और 64k आउटपुट पर 2.2 गुना अधिक थ्रूपुट प्रदान करता है। Qwen3.5-122B-A10B के मुकाबले, यह आंकड़ा 7.5 गुना तक पहुंच जाता है। Nvidia पिछली Nemotron Super पीढ़ी की तुलना में पाँच गुना से अधिक थ्रूपुट और दो गुना तक सटीकता की भी रिपोर्ट करता है।

Nvidia ने मॉडल को अपने NVFP4 फोर-बिट फ्लोटिंग-पॉइंट फॉर्मेट में एंड-टू-एंड प्रशिक्षित किया, जिसे Blackwell GPUs के लिए अनुकूलित किया गया है। Nvidia का कहना है कि B200 हार्डवेयर पर, FP8 की तुलना में H100 पर इंफरेंस बिना किसी सटीकता हानि के चार गुना तक तेज़ चलता है। क्वांटাইज़्ड FP8 और NVFP4 चेकपॉइंट्स पूर्ण-सटीकता सटीकता का 99.8 प्रतिशत या उससे अधिक बनाए रखते हैं।

यह मॉडल Nvidia AI-Q रिसर्च एजेंट को भी शक्ति प्रदान करता है, जिसने Deepresearch बेंच लीडरबोर्ड पर शीर्ष स्थान हासिल किया।

नेमोट्रॉन 3 सुपर, एनवीडिया नेमोट्रॉन ओपन मॉडल लाइसेंस के तहत पूरी तरह से ओपन है। BF16, FP8, और NVFP4 फॉर्मेट में चेकपॉइंट्स, साथ ही प्री-ट्रेनिंग डेटा, पोस्ट-ट्रेनिंग सैंपल, और रिइन्फोर्समेंट लर्निंग एनवायरनमेंट्स, हगिंग फेस पर उपलब्ध हैं। इन्फरेंस Nvidia NIM, build.nvidia.com, Perplexity, Openrouter, Together AI, Google Cloud, AWS, Azure, और Coreweave के माध्यम से समर्थित है, जिसमें Dell Enterprise Hub और HPE के माध्यम से ऑन-प्रिमाइसेस विकल्प भी शामिल हैं।

डेवलपर्स NeMo प्लेटफ़ॉर्म का उपयोग करके vLLM, SGLang, और TensorRT-LLM के साथ प्रशिक्षण रेसिपी, फाइन-ट्यूनिंग गाइड, और इन्फरेंस कुकबुक तक पहुँच सकते हैं।