টেথার স্মার্টফোনের জন্য বিটনেট এআই ফ্রেমওয়ার্ক চালু করেছে, এনভিডিয়া জিপিইউ-এর প্রয়োজন কমিয়েছে

টেথার এআই ফ্রেমওয়ার্ক VRAM ব্যবহার ৭০%‑এর বেশি কমায়, এজ কম্পিউটিং প্রসারিত করে

মঙ্গলবার, টেথার মাইক্রোসফটের Bitnet মডেলগুলোর জন্য একটি ক্রস-প্ল্যাটফর্ম LoRA ফাইন-টিউনিং ফ্রেমওয়ার্ক উন্মোচন করে, যা তাদের ভাষ্য অনুযায়ী স্মার্টফোন ও ল্যাপটপসহ ভোক্তা ডিভাইস জুড়ে ১‑বিট লার্জ ল্যাঙ্গুয়েজ মডেল প্রশিক্ষণ ও চালাতে সক্ষম প্রথম সিস্টেম।

এই রিলিজ টেথারের QVAC Fabric স্ট্যাকের অংশ এবং কৃত্রিম বুদ্ধিমত্তা উন্নয়নের সঙ্গে সাধারণত যুক্ত ভারী কম্পিউট ও মেমরি চাহিদা কমানোর জন্য নকশা করা—যা এতদিন মূলত ক্লাউড প্রোভাইডার এবং উচ্চমানের এনভিডিয়া হার্ডওয়্যারের মধ্যেই সীমাবদ্ধ ছিল।

বিবিধ ধরনের হার্ডওয়্যার সমর্থনের মাধ্যমে—যার মধ্যে ইন্টেল, AMD, এবং অ্যাপলের চিপ, পাশাপাশি মোবাইল GPU রয়েছে—ফ্রেমওয়ার্কটি ডেভেলপারদের কেন্দ্রীভূত অবকাঠামোর ওপর নির্ভর না করে লোকালেই মডেল ফাইন-টিউন করার সুযোগ দেয়।

বাস্তবে, এর অর্থ হলো আগে ডেটা সেন্টারের জন্য সংরক্ষিত এআই ওয়ার্কলোডগুলো এখন ব্যাকপ্যাক বা পকেটে থাকা ডিভাইসেও চলতে পারে—যা খরচ কমাতে পারে এবং যুক্তরাষ্ট্রসহ বিশ্বজুড়ে ডেভেলপারদের জন্য প্রবেশাধিকার বিস্তৃত করতে পারে।

টেথার জানায়, তাদের ইঞ্জিনিয়াররা Adreno, Mali এবং Apple Bionic চিপসহ মোবাইল GPU‑তে Bitnet ফাইন-টিউনিং সফলভাবে প্রদর্শন করেছেন, যা উদীয়মান ১‑বিট মডেল আর্কিটেকচারের ক্ষেত্রে একটি প্রথম সাফল্য।

কোম্পানির প্রকাশিত পারফরম্যান্স বেঞ্চমার্ক অনুযায়ী, ১২৫ মিলিয়ন‑প্যারামিটার মডেলটি একটি স্যামসাং S25 ডিভাইসে প্রায় ১০ মিনিটে ফাইন-টিউন করা যায়, আর ১ বিলিয়ন‑প্যারামিটার মডেলটি একই হার্ডওয়্যারে প্রায় ১ ঘণ্টা ১৮ মিনিটে একই কাজ সম্পন্ন করে।

অ্যাপল ডিভাইসেও কোম্পানি অনুরূপ ফলাফলের কথা জানিয়েছে—iPhone 16‑এ ১ বিলিয়ন‑প্যারামিটার মডেলটি আনুমানিক ১ ঘণ্টা ৪৫ মিনিটে ফাইন-টিউন করা গেছে, এবং পরীক্ষামূলকভাবে অন-ডিভাইসেই ১৩ বিলিয়ন প্যারামিটার পর্যন্ত মডেল চালানো হয়েছে।

টেথারের অভ্যন্তরীণ বেঞ্চমার্ক অনুযায়ী, ফ্রেমওয়ার্কটি ইনফারেন্স গতিতেও পরিমাপযোগ্য উন্নতি দেখিয়েছে—মোবাইল GPU CPU‑এর তুলনায় ২ থেকে ১১ গুণ পর্যন্ত পারফরম্যান্স দিয়েছে।

মেমরি দক্ষতাও আরেকটি প্রধান বিক্রয়-বিন্দু; Bitnet‑1B তুলনীয় ১৬‑বিট মডেলের তুলনায় সর্বোচ্চ ৭৭.৮% কম VRAM ব্যবহার করে এবং অন্যান্য ব্যাপকভাবে ব্যবহৃত আর্কিটেকচারের তুলনায় ৬৫%‑এরও বেশি কম ব্যবহার করে, ফলে সীমিত হার্ডওয়্যারে বড় মডেল চালানো সম্ভব হয়।

টেথার বলেছে, সিস্টেমটি এই ক্যাটাগরিতে প্রথমবারের মতো নন-এনভিডিয়া হার্ডওয়্যারে LoRA ফাইন-টিউনিং সম্ভব করে, যা বিশেষায়িত চিপ ও ক্লাউড সার্ভিসের ওপর নির্ভরতা কমাতে পারে—এবং সংবেদনশীল ডেটা ব্যবহারকারীর ডিভাইসেই লোকালভাবে সংরক্ষিত রাখতে সাহায্য করে।

কোম্পানিটি আরও যোগ করেছে, এই পদ্ধতিটি ফেডারেটেড লার্নিংকে আরও ব্যবহারিক করে তুলতে পারে, কারণ এতে ডেটা কেন্দ্রীভূত না করেই বিতরণকৃত ডিভাইসজুড়ে মডেল প্রশিক্ষণ দেওয়া সম্ভব—যা প্রাইভেসি-কেন্দ্রিক এআই উন্নয়নে ক্রমবর্ধমান আগ্রহের একটি ক্ষেত্র।

“ভোক্তা হার্ডওয়্যারে—স্মার্টফোনসহ—অর্থপূর্ণ বড়-মডেল প্রশিক্ষণ সক্ষম করে টেথারের QVAC প্রমাণ করছে যে উন্নত এআই বিকেন্দ্রীভূত, অন্তর্ভুক্তিমূলক এবং সবার জন্য ক্ষমতায়নকারী হতে পারে,” এক বিবৃতিতে টেথার সিইও পাওলো আরডোইনো বলেন, এবং যোগ করেন যে কোম্পানিটি অন-ডিভাইস এআই অবকাঠামোতে ধারাবাহিক বিনিয়োগের পরিকল্পনা করছে।

বেঞ্চমার্ক ও ইমপ্লিমেন্টেশন বিস্তারিতসহ এই টেকনিক্যাল রিলিজ Hugging Face-এর মাধ্যমে প্রকাশ করা হয়েছে, যা মালিকানাধীন সিস্টেমের আড়ালে প্রযুক্তিটিকে আটকে না রেখে সরাসরি ডেভেলপারদের কাছে পৌঁছানোর একটি প্রচেষ্টার ইঙ্গিত দেয়।

FAQ 🔎

• টেথারের নতুন এআই ফ্রেমওয়ার্ক কী?
  টেথারের QVAC Fabric ফোন ও ল্যাপটপের মতো ভোক্তা ডিভাইসে Bitnet এআই মডেল প্রশিক্ষণ ও চালানোর জন্য একটি ক্রস-প্ল্যাটফর্ম সিস্টেম পরিচয় করিয়ে দেয়।
• স্মার্টফোন কি সত্যিই এআই মডেল প্রশিক্ষণ দিতে পারে?
  হ্যাঁ, টেথারের বেঞ্চমার্ক দেখায় যে বিলিয়ন-প্যারামিটার মডেলগুলো স্যামসাং S25 এবং iPhone 16-এর মতো ডিভাইসে কয়েক ঘণ্টার মধ্যে ফাইন-টিউন করা যায়।
• যুক্তরাষ্ট্রের ডেভেলপারদের জন্য এটি কেন গুরুত্বপূর্ণ?
  এটি ব্যয়বহুল ক্লাউড অবকাঠামো ও বিশেষায়িত GPU-এর ওপর নির্ভরতা কমায়, ফলে খরচ কমে এবং এআই ডেভেলপমেন্টে প্রবেশাধিকার বাড়ে।
• Bitnet-কে অন্যান্য মডেল থেকে আলাদা করে কী?
  BitNet একটি ১‑বিট আর্কিটেকচার ব্যবহার করে, যা প্রচলিত ১৬‑বিট মডেলের তুলনায় মেমরি ব্যবহার উল্লেখযোগ্যভাবে কমায় এবং দক্ষতা বাড়ায়।