Společnost Tether uvádí na trh platformu Bitnet AI pro chytré telefony, která eliminuje potřebu grafických karet Nvidia

Rámec Tether AI snižuje využití VRAM o více než 70 % a rozšiřuje edge computing

V úterý společnost Tether představila multiplatformní rámec pro jemné ladění LoRA pro modely Bitnet od Microsoftu a představila tak systém, který popsala jako první systém schopný trénovat a provozovat 1bitové velké jazykové modely na spotřebitelských zařízeních, včetně smartphonů a notebooků.

Toto vydání je součástí stacku QVAC Fabric společnosti Tether a je navrženo tak, aby snížilo vysoké nároky na výpočetní výkon a paměť, které jsou obvykle spojeny s vývojem umělé inteligence, který byl dosud převážně omezen na poskytovatele cloudových služeb a špičkový hardware Nvidia.

Díky podpoře heterogenního hardwaru – včetně čipů od společností Intel, AMD a Apple, stejně jako mobilních GPU – umožňuje tento framework vývojářům ladit modely lokálně, aniž by byli závislí na centralizované infrastruktuře.

V praxi to znamená, že úlohy umělé inteligence, které byly dříve vyhrazeny datovým centrům, lze nyní spouštět na zařízeních, která se vejdou do batohu nebo kapsy. Tato změna by mohla snížit náklady a rozšířit přístup pro vývojáře v USA i po celém světě.

Společnost Tether uvedla, že její inženýři úspěšně předvedli ladění Bitnetu na mobilních GPU, včetně čipů Adreno, Mali a Apple Bionic, což je první úspěch této nově vznikající architektury 1bitových modelů.

Výkonnostní benchmarky zveřejněné společností ukazují, že model s 125 miliony parametrů lze doladit za přibližně 10 minut na zařízení Samsung S25, zatímco model s 1 miliardou parametrů dokončí stejný úkol na stejném hardwaru zhruba za 1 hodinu a 18 minut.

Na zařízeních Apple společnost zaznamenala podobné výsledky, kdy byl model s 1 miliardou parametrů vyladěn za přibližně 1 hodinu a 45 minut na iPhone 16 a experimentální běhy posunuly modely až na 13 miliard parametrů přímo na zařízení.

Tento framework také prokázal měřitelné zisky v rychlosti inferenčních výpočtů, přičemž mobilní GPU podle interních benchmarků společnosti Tether dosahují výkonu 2 až 11krát vyššího než CPU.

Dalším klíčovým prodejním argumentem je efektivita paměti, přičemž Bitnet-1B využívá až o 77,8 % méně VRAM než srovnatelné 16bitové modely a o více než 65 % méně než jiné široce používané architektury, což umožňuje provozovat větší modely na omezeném hardwaru.

Společnost Tether uvedla, že systém také poprvé v této kategorii umožňuje jemné ladění LoRA na hardwaru jiných výrobců než Nvidia, což by mohlo snížit závislost na specializovaných čipech a cloudových službách a zároveň uchovat citlivá data uložená lokálně na uživatelských zařízeních.

Společnost dodala, že tento přístup by mohl učinit federované učení praktičtější tím, že umožní trénovat modely napříč distribuovanými zařízeními bez centralizace dat, což je oblast, o kterou roste zájem v rámci vývoje AI zaměřené na ochranu soukromí.

„Tím, že umožňuje smysluplný trénink velkých modelů na spotřebitelském hardwaru, včetně smartphonů, QVAC od společnosti Tether dokazuje, že pokročilá AI může být decentralizovaná, inkluzivní a posilující pro každého,“ uvedl ve svém prohlášení generální ředitel společnosti Tether Paolo Ardoino a dodal, že společnost plánuje pokračovat v investicích do infrastruktury AI na zařízeních.

Technická zpráva, včetně benchmarků a podrobností o implementaci, byla zveřejněna prostřednictvím Hugging Face, což signalizuje snahu oslovit přímo vývojáře, namísto uzavření technologie za proprietárními systémy.

Často kladené otázky 🔎

• Co je nový AI framework společnosti Tether?
  QVAC Fabric od společnosti Tether představuje multiplatformní systém pro trénování a provozování AI modelů Bitnet na spotřebitelských zařízeních, jako jsou telefony a notebooky.
• Mohou smartphony skutečně trénovat modely AI?
  Ano, benchmarky společnosti Tether ukazují, že modely s miliardami parametrů lze na zařízeních, jako jsou Samsung S25 a iPhone 16, doladit během několika hodin.
• Proč je to důležité pro vývojáře v USA?
  Snižuje to závislost na drahé cloudové infrastruktuře a specializovaných GPU, což snižuje náklady a zvyšuje přístup k vývoji AI.
• Čím se Bitnet liší od jiných modelů?
  BitNet využívá 1bitovou architekturu, která výrazně snižuje využití paměti a zvyšuje efektivitu ve srovnání s tradičními 16bitovými modely.