Tether ने स्मार्टफ़ोन के लिए Bitnet AI फ्रेमवर्क लॉन्च किया, जिससे Nvidia GPUs की आवश्यकता कम हो गई।

Tether AI फ्रेमवर्क VRAM उपयोग को 70% से अधिक कम करता है, एज कंप्यूटिंग का विस्तार करता है

मंगलवार को, टेदर ने माइक्रोसॉफ्ट के बिटनैट मॉडल के लिए एक क्रॉस-प्लेटफ़ॉर्म LoRA फाइन-ट्यूनिंग फ्रेमवर्क का अनावरण किया, जिसमें एक ऐसी प्रणाली पेश की गई जिसे उसने उपभोक्ता उपकरणों, जिसमें स्मार्टफोन और लैपटॉप शामिल हैं, पर 1-बिट बड़े भाषा मॉडल को प्रशिक्षित करने और चलाने में सक्षम पहली प्रणाली बताया।

यह रिलीज़ टेदर के QVAC फैब्रिक स्टैक का हिस्सा है और इसे आर्टिफिशियल इंटेलिजेंस डेवलपमेंट से आमतौर पर जुड़ी भारी कंप्यूट और मेमोरी की मांग को कम करने के लिए डिज़ाइन किया गया है, जो काफी हद तक क्लाउड प्रोवाइडर्स और हाई-एंड एनवीडिया हार्डवेयर तक ही सीमित रहा है।

विभिन्न हार्डवेयर—जिसमें इंटेल, एएमडी, और एप्पल की चिप्स, साथ ही मोबाइल जीपीयू शामिल हैं—को सपोर्ट करके, यह फ्रेमवर्क डेवलपर्स को केंद्रीकृत बुनियादी ढांचे पर निर्भर किए बिना स्थानीय रूप से मॉडल को फाइन-ट्यून करने की अनुमति देता है।

व्यावहारिक रूप से, इसका मतलब है कि एआई वर्कलोड जो कभी डेटा सेंटर के लिए आरक्षित थे, अब बैकपैक या जेब में रखे उपकरणों पर चल सकते हैं, यह एक ऐसा बदलाव है जो संयुक्त राज्य अमेरिका और दुनिया भर में डेवलपर्स के लिए लागत कम कर सकता है और पहुंच का विस्तार कर सकता है।

टेदर ने कहा कि उसके इंजीनियरों ने एड्रेनो, माली और एप्पल बायोनिक चिप्स सहित मोबाइल जीपीयू पर बिटनैट फाइन-ट्यूनिंग का सफलतापूर्वक प्रदर्शन किया, जो उभरते हुए 1-बिट मॉडल आर्किटेक्चर के लिए पहली बार है।

कंपनी द्वारा जारी प्रदर्शन बेंचमार्क दिखाते हैं कि एक सैमसंग S25 डिवाइस पर 125 मिलियन-पैरामीटर मॉडल को लगभग 10 मिनट में फाइन-ट्यून किया जा सकता है, जबकि 1 बिलियन-पैरामीटर मॉडल उसी हार्डवेयर पर लगभग 1 घंटे और 18 मिनट में यही काम पूरा करता है।

एप्पल डिवाइसों पर, कंपनी ने समान परिणामों की सूचना दी, जिसमें एक iPhone 16 पर लगभग 1 घंटे और 45 मिनट में 1 बिलियन-पैरामीटर मॉडल को फाइन-ट्यून किया गया, और प्रयोगात्मक रन ने डिवाइस पर मॉडलों को 13 बिलियन पैरामीटर तक पहुँचाया।

फ्रेमवर्क ने इंफरेंस स्पीड में भी मापनीय लाभ दिखाए, जिसमें टेदर के आंतरिक बेंचमार्क के अनुसार, मोबाइल GPUs ने CPUs की तुलना में दो से 11 गुना बेहतर प्रदर्शन दिया।

मेमोरी दक्षता एक और प्रमुख विक्रय बिंदु है, जिसमें बिटनैट-1B तुलनीय 16-बिट मॉडल की तुलना में 77.8% तक कम वीरैम (VRAM) का उपयोग करता है और अन्य व्यापक रूप से उपयोग किए जाने वाले आर्किटेक्चर की तुलना में 65% से अधिक कम, जिससे सीमित हार्डवेयर पर बड़े मॉडल चलाने में सक्षम बनाता है।

टेदर ने कहा कि यह सिस्टम इस श्रेणी में पहली बार गैर-एनवीडिया हार्डवेयर पर LoRA फाइन-ट्यूनिंग को भी सक्षम बनाता है, यह एक ऐसा कदम है जो विशेषज्ञ चिप्स और क्लाउड सेवाओं पर निर्भरता को कम कर सकता है और साथ ही संवेदनशील डेटा को उपयोगकर्ताओं के उपकरणों पर स्थानीय रूप से संग्रहीत रख सकता है।

कंपनी ने आगे कहा कि यह दृष्टिकोण डेटा को केंद्रीकृत किए बिना वितरित उपकरणों पर मॉडलों को प्रशिक्षित करने की अनुमति देकर फेडरेटेड लर्निंग को और अधिक व्यावहारिक बना सकता है, जो गोपनीयता-केंद्रित एआई विकास में रुचि का एक बढ़ता हुआ क्षेत्र है।

"स्मार्टफोन सहित उपभोक्ता हार्डवेयर पर सार्थक बड़े-मॉडल प्रशिक्षण को सक्षम करके, टेदर का QVAC यह साबित कर रहा है कि उन्नत एआई विकेंद्रीकृत, समावेशी और सभी के लिए सशक्तिकरणकारी हो सकता है," टेदर के सीईओ पाओलो अर्डोइनो ने एक बयान में कहा, और यह भी कहा कि कंपनी ऑन-डिवाइस एआई बुनियादी ढांचे में निरंतर निवेश की योजना बना रही है।

तकनीकी रिलीज़, जिसमें बेंचमार्क और कार्यान्वयन विवरण शामिल हैं, हगिंग फेस के माध्यम से प्रकाशित की गई है, जो मालिकाना प्रणालियों के पीछे की तकनीक को सीमित करने के बजाय सीधे डेवलपर्स तक पहुंचने के प्रयास का संकेत देती है।

अक्सर पूछे जाने वाले प्रश्न 🔎

• Tether का नया AI फ्रेमवर्क क्या है?
  Tether का QVAC फैब्रिक फोन और लैपटॉप जैसे उपभोक्ता उपकरणों पर Bitnet AI मॉडल को प्रशिक्षित करने और चलाने के लिए एक क्रॉस-प्लेटफ़ॉर्म सिस्टम पेश करता है।
• क्या स्मार्टफोन वास्तव में AI मॉडल को प्रशिक्षित कर सकते हैं?
  हाँ, Tether के बेंचमार्क दिखाते हैं कि अरब-पैरामीटर वाले मॉडल सैमसंग S25 और iPhone 16 जैसे उपकरणों पर कुछ ही घंटों में फाइन-ट्यून किए जा सकते हैं।
• यह अमेरिकी डेवलपर्स के लिए क्यों महत्वपूर्ण है?
  यह महंगे क्लाउड इंफ्रास्ट्रक्चर और विशेष GPUs पर निर्भरता को कम करता है, जिससे लागत कम होती है और AI डेवलपमेंट तक पहुंच बढ़ती है।
• बिटनेट को अन्य मॉडलों से क्या अलग बनाता है?
  बिटनेट 1-बिट आर्किटेक्चर का उपयोग करता है जो पारंपरिक 16-बिट मॉडलों की तुलना में मेमोरी के उपयोग को काफी कम करता है और दक्षता में सुधार करता है।