Inilunsad ng Tether ang Bitnet AI Framework para sa mga Smartphone, Binabawasan ang Pangangailangan para sa mga Nvidia GPU

Binabawasan ng Tether AI Framework ang Paggamit ng VRAM nang Mahigit 70%, Pinalalawak ang Edge Computing

Noong Martes, inilunsad ng Tether ang isang cross-platform na LoRA fine-tuning framework para sa mga Bitnet model ng Microsoft, na nagpakilala ng tinawag nitong unang sistema na may kakayahang magsanay at magpatakbo ng 1-bit large language models sa mga consumer device, kabilang ang mga smartphone at laptop.

Ang paglabas ay bahagi ng QVAC Fabric stack ng Tether at idinisenyo upang bawasan ang mabibigat na pangangailangan sa compute at memory na karaniwang kaakibat ng pag-develop ng artificial intelligence, na sa malaking bahagi ay nakapaloob sa mga cloud provider at high-end na Nvidia hardware.

Sa pagsuporta sa heterogeneous hardware—inkabilang ang mga chip mula sa Intel, AMD, at Apple, pati na rin ang mga mobile GPU—pinahihintulutan ng framework ang mga developer na i-fine-tune ang mga modelo nang lokal nang hindi umaasa sa sentralisadong imprastraktura.

Sa praktika, ibig sabihin nito ang mga AI workload na dati’y para lamang sa mga data center ay maaari nang tumakbo sa mga device na nakaupo sa backpack o bulsa, isang pagbabago na maaaring magpababa ng gastos at magpalawak ng access para sa mga developer sa buong Estados Unidos at sa buong mundo.

Sinabi ng Tether na matagumpay na naipakita ng kanilang mga engineer ang Bitnet fine-tuning sa mga mobile GPU, kabilang ang Adreno, Mali at Apple Bionic chips, na isang unang beses para sa umuusbong na 1-bit model architecture.

Ipinapakita ng mga performance benchmark na inilabas ng kumpanya na ang isang 125 milyong-parameter na modelo ay maaaring i-fine-tune sa humigit-kumulang 10 minuto sa isang Samsung S25 device, habang ang isang 1 bilyong-parameter na modelo ay nakukumpleto ang kaparehong gawain sa tinatayang 1 oras at 18 minuto sa parehong hardware.

Sa mga Apple device, iniulat ng kumpanya ang katulad na mga resulta, kung saan ang isang 1 bilyong-parameter na modelo ay na-fine-tune sa humigit-kumulang 1 oras at 45 minuto sa isang iPhone 16, at ang mga eksperimental na run ay nagtulak sa mga modelo hanggang 13 bilyong parameter on-device.

Nagpakita rin ang framework ng nasusukat na pag-angat sa bilis ng inference, kung saan ang mga mobile GPU ay naghahatid ng pagitan ng dalawang hanggang 11 beses na performance kumpara sa mga CPU, ayon sa internal benchmarks ng Tether.

Ang kahusayan sa memory ay isa pang pangunahing bentahe, kung saan ang Bitnet-1B ay gumagamit ng hanggang 77.8% na mas kaunting VRAM kaysa sa maihahambing na 16-bit na mga modelo at higit 65% na mas kaunti kaysa sa iba pang malawakang ginagamit na mga architecture, na nagbibigay-daan sa mas malalaking modelo na tumakbo sa limitadong hardware.

Sinabi ng Tether na pinahihintulutan din ng sistema ang LoRA fine-tuning sa non-Nvidia hardware sa unang pagkakataon sa kategoryang ito, isang hakbang na maaaring magpababa ng pag-asa sa mga espesyal na chip at cloud service habang pinananatiling nakaimbak nang lokal sa mga device ng user ang sensitibong data.

Idinagdag ng kumpanya na maaaring gawing mas praktikal ang approach para sa federated learning sa pamamagitan ng pagpapahintulot na ang mga modelo ay masanay sa mga distributed na device nang hindi isinasentralisa ang data, isang larangang lumalaking interes sa privacy-focused na pag-develop ng AI.

“Sa pagpapagana ng makabuluhang pagsasanay ng malalaking modelo sa consumer hardware, kabilang ang mga smartphone, pinatutunayan ng QVAC ng Tether na ang advanced AI ay maaaring maging desentralisado, inklusibo, at nagbibigay-kapangyarihan para sa lahat,” sabi ng Tether CEO na si Paolo Ardoino sa isang pahayag, at idinagdag na plano ng kumpanya ang patuloy na pamumuhunan sa on-device AI infrastructure.

Ang teknikal na paglabas, kabilang ang mga benchmark at detalye ng implementasyon, ay inilathala sa pamamagitan ng Hugging Face, na nagpapahiwatig ng isang pagsisikap na abutin ang mga developer nang direkta sa halip na ikandado ang teknolohiya sa likod ng mga proprietary na sistema.

FAQ 🔎

• Ano ang bagong AI framework ng Tether?
  Ipinapakilala ng QVAC Fabric ng Tether ang isang cross-platform na sistema para sa pagsasanay at pagpapatakbo ng Bitnet AI models sa mga consumer device gaya ng mga telepono at laptop.
• Kaya ba talagang magsanay ng mga AI model ang mga smartphone?
  Oo, ipinapakita ng mga benchmark ng Tether na ang mga modelong bilyon ang parameter ay maaaring i-fine-tune sa mga device tulad ng Samsung S25 at iPhone 16 sa loob ng ilang oras.
• Bakit ito mahalaga para sa mga developer sa U.S.?
  Binabawasan nito ang pag-asa sa mahal na cloud infrastructure at mga espesyal na GPU, na nagpapababa ng gastos at nagpapalawak ng access sa AI development.
• Ano ang pinagkaiba ng Bitnet sa ibang mga modelo?
  Gumagamit ang BitNet ng 1-bit architecture na malaki ang ibinabawas sa paggamit ng memory at pinapahusay ang kahusayan kumpara sa tradisyonal na 16-bit na mga modelo.