تتر فریم‌ورک هوش مصنوعی Bitnet را برای گوشی‌های هوشمند راه‌اندازی کرد و نیاز به GPUهای انویدیا را کاهش داد

چارچوب هوش مصنوعی تتر مصرف VRAM را بیش از ۷۰٪ کاهش می‌دهد و رایانش لبه را گسترش می‌دهد

روز سه‌شنبه، تتر یک چارچوب فاین‌تیونینگ LoRA چندسکویی برای مدل‌های Bitnet مایکروسافت رونمایی کرد و آن را نخستین سامانه‌ای توصیف کرد که قادر است مدل‌های زبانی بزرگ ۱-بیتی را روی دستگاه‌های مصرفی—از جمله گوشی‌های هوشمند و لپ‌تاپ‌ها—آموزش داده و اجرا کند.

این انتشار بخشی از پشته QVAC Fabric تتر است و برای کاهش نیازهای سنگین محاسباتی و حافظه‌ای که معمولاً با توسعه هوش مصنوعی همراه است طراحی شده؛ حوزه‌ای که عمدتاً به ارائه‌دهندگان ابر و سخت‌افزار رده‌بالای انویدیا محدود بوده است.

با پشتیبانی از سخت‌افزار ناهمگن—از جمله تراشه‌های اینتل، AMD و اپل، و همچنین GPUهای موبایل—این چارچوب به توسعه‌دهندگان اجازه می‌دهد مدل‌ها را به‌صورت محلی فاین‌تیون کنند، بدون اتکا به زیرساخت متمرکز.

در عمل، یعنی بارهای کاری هوش مصنوعی که زمانی مخصوص مراکز داده بود، اکنون می‌تواند روی دستگاه‌هایی اجرا شود که در کوله‌پشتی یا جیب قرار دارند؛ تغییری که می‌تواند هزینه‌ها را کاهش دهد و دسترسی را برای توسعه‌دهندگان در سراسر ایالات متحده و جهان گسترش دهد.

تتر اعلام کرد مهندسانش با موفقیت فاین‌تیونینگ Bitnet را روی GPUهای موبایل—از جمله تراشه‌های Adreno، Mali و Apple Bionic—نمایش داده‌اند؛ اقدامی که برای معماری نوظهور مدل‌های ۱-بیتی یک نخستین به‌شمار می‌رود.

بنچمارک‌های عملکردی منتشرشده توسط شرکت نشان می‌دهد یک مدل ۱۲۵ میلیون‌پارامتری می‌تواند در حدود ۱۰ دقیقه روی دستگاه سامسونگ S25 فاین‌تیون شود، در حالی که یک مدل ۱ میلیاردپارامتری همین کار را در حدود ۱ ساعت و ۱۸ دقیقه روی همان سخت‌افزار انجام می‌دهد.

در دستگاه‌های اپل نیز شرکت نتایج مشابهی گزارش کرد؛ به‌طوری‌که یک مدل ۱ میلیاردپارامتری در حدود ۱ ساعت و ۴۵ دقیقه روی آیفون ۱۶ فاین‌تیون شد و اجرای آزمایشی، مدل‌ها را تا ۱۳ میلیارد پارامتر به‌صورت روی‌دستگاه پیش برد.

این چارچوب همچنین بهبودهای قابل‌سنجشی در سرعت استنتاج نشان داد؛ به‌طوری‌که طبق بنچمارک‌های داخلی تتر، GPUهای موبایل بین دو تا ۱۱ برابر عملکرد بهتری نسبت به CPUها ارائه می‌دهند.

کارایی حافظه نیز یکی دیگر از نکات کلیدی فروش است؛ به‌طوری‌که Bitnet-1B تا ۷۷.۸٪ VRAM کمتری نسبت به مدل‌های ۱۶-بیتی قابل‌مقایسه مصرف می‌کند و بیش از ۶۵٪ کمتر از سایر معماری‌های رایج؛ امری که امکان اجرای مدل‌های بزرگ‌تر روی سخت‌افزار محدود را فراهم می‌کند.

تتر همچنین گفت این سامانه برای نخستین بار در این دسته، امکان فاین‌تیونینگ LoRA را روی سخت‌افزار غیرِ انویدیا فراهم می‌کند؛ اقدامی که می‌تواند وابستگی به تراشه‌های تخصصی و خدمات ابری را کاهش دهد و در عین حال داده‌های حساس را به‌صورت محلی روی دستگاه‌های کاربران نگه دارد.

این شرکت افزود این رویکرد می‌تواند یادگیری فدره را کاربردی‌تر کند؛ با امکان آموزش مدل‌ها در میان دستگاه‌های توزیع‌شده بدون متمرکز کردن داده‌ها—حوزه‌ای که در توسعه هوش مصنوعی متمرکز بر حریم خصوصی، مورد توجه روزافزون است.

ریپل به‌طور تهاجمی حضور خود را در برزیل گسترش می‌دهد و سلطه بر بازار کریپتوی نهادی را هدف قرار می‌دهد

ریپل گسترشی فراگیر را در سراسر نظام مالی برزیل شتاب می‌بخشد و خود را در مرکز زیرساخت رمزارزی نهادی قرار می‌دهد زیرا read more.

اکنون بخوانید

ریپل به‌طور تهاجمی حضور خود را در برزیل گسترش می‌دهد و سلطه بر بازار کریپتوی نهادی را هدف قرار می‌دهد

ریپل گسترشی فراگیر را در سراسر نظام مالی برزیل شتاب می‌بخشد و خود را در مرکز زیرساخت رمزارزی نهادی قرار می‌دهد زیرا read more.

اکنون بخوانید

ریپل به‌طور تهاجمی حضور خود را در برزیل گسترش می‌دهد و سلطه بر بازار کریپتوی نهادی را هدف قرار می‌دهد

اکنون بخوانید

ریپل گسترشی فراگیر را در سراسر نظام مالی برزیل شتاب می‌بخشد و خود را در مرکز زیرساخت رمزارزی نهادی قرار می‌دهد زیرا read more.

«با ممکن‌کردن آموزش معنادارِ مدل‌های بزرگ روی سخت‌افزار مصرفی، از جمله گوشی‌های هوشمند، QVAC تتر ثابت می‌کند که هوش مصنوعی پیشرفته می‌تواند غیرمتمرکز، فراگیر و توانمندساز برای همه باشد»، پائولو آردوینو، مدیرعامل تتر، در بیانیه‌ای گفت و افزود که این شرکت برنامه دارد سرمایه‌گذاری در زیرساخت هوش مصنوعی روی‌دستگاه را ادامه دهد.

انتشار فنی، شامل بنچمارک‌ها و جزئیات پیاده‌سازی، از طریق Hugging Face منتشر شده است که نشان‌دهنده تلاشی برای دسترسی مستقیم به توسعه‌دهندگان است، نه اینکه فناوری را پشت سامانه‌های مالکیتی پنهان کند.

پرسش‌های متداول 🔎

• چارچوب جدید هوش مصنوعی تتر چیست؟
  QVAC Fabric تتر یک سامانه چندسکویی برای آموزش و اجرای مدل‌های هوش مصنوعی Bitnet روی دستگاه‌های مصرفی مانند گوشی‌ها و لپ‌تاپ‌ها معرفی می‌کند.
• آیا گوشی‌های هوشمند واقعاً می‌توانند مدل‌های هوش مصنوعی را آموزش دهند؟
  بله، بنچمارک‌های تتر نشان می‌دهد مدل‌های میلیاردپارامتری می‌توانند روی دستگاه‌هایی مانند سامسونگ S25 و آیفون ۱۶ در عرض چند ساعت فاین‌تیون شوند.
• چرا این برای توسعه‌دهندگان آمریکایی مهم است؟
  این کار وابستگی به زیرساخت ابری گران‌قیمت و GPUهای تخصصی را کاهش می‌دهد، هزینه‌ها را پایین می‌آورد و دسترسی به توسعه هوش مصنوعی را افزایش می‌دهد.
• چه چیزی Bitnet را از سایر مدل‌ها متفاوت می‌کند؟
  BitNet از یک معماری ۱-بیتی استفاده می‌کند که نسبت به مدل‌های ۱۶-بیتی سنتی، مصرف حافظه را به‌طور چشمگیری کاهش می‌دهد و کارایی را بهبود می‌بخشد.