Tether lanserer Bitnet AI-rammeverk for smarttelefoner, reduserer behovet for Nvidia-GPU-er

Tethers AI-rammeverk kutter VRAM-bruk med over 70 %, utvider edge computing

Tirsdag avduket Tether et plattformuavhengig LoRA-finjusteringsrammeverk for Microsofts Bitnet-modeller, og introduserte det de beskrev som det første systemet som kan trene og kjøre 1-bits store språkmodeller på tvers av forbrukerenheter, inkludert smarttelefoner og bærbare PC-er.

Lanseringen er en del av Tethers QVAC Fabric-stakk og er utformet for å redusere de tunge beregnings- og minnekravene som vanligvis er forbundet med utvikling av kunstig intelligens, som i stor grad har vært begrenset til skyleverandører og avansert Nvidia-maskinvare.

Ved å støtte heterogen maskinvare—inkludert brikker fra Intel, AMD og Apple, samt mobile GPU-er—gjør rammeverket det mulig for utviklere å finjustere modeller lokalt uten å være avhengig av sentralisert infrastruktur.

I praksis betyr det at AI-arbeidslaster som tidligere var forbeholdt datasentre nå kan kjøre på enheter som sitter i en ryggsekk eller en lomme, et skifte som kan senke kostnadene og utvide tilgangen for utviklere i USA og globalt.

Tether opplyste at ingeniørene deres demonstrerte Bitnet-finjustering på mobile GPU-er, inkludert Adreno-, Mali- og Apple Bionic-brikker, noe som markerer en første for den fremvoksende 1-bits modellarkitekturen.

Ytelsesbenchmarker publisert av selskapet viser at en modell med 125 millioner parametere kan finjusteres på rundt 10 minutter på en Samsung S25-enhet, mens en modell med 1 milliard parametere fullfører the samme oppgave på omtrent 1 time og 18 minutter på samme maskinvare.

På Apple-enheter rapporterte selskapet lignende resultater, med en modell på 1 milliard parametere finjustert på omtrent 1 time og 45 minutter på en iPhone 16, og eksperimentelle kjøringer som presset modeller opp til 13 milliarder parametere på enheten.

Rammeverket viste også målbare gevinster i inferenshastighet, der mobile GPU-er leverte mellom to og 11 ganger ytelsen til CPU-er, ifølge Tethers interne benchmarker.

Minneeffektivitet er et annet viktig salgsargument, med Bitnet-1B som bruker opptil 77,8 % mindre VRAM enn sammenlignbare 16-bits modeller og mer enn 65 % mindre enn andre mye brukte arkitekturer, noe som muliggjør at større modeller kan kjøre på begrenset maskinvare.

Tether sa at systemet også muliggjør LoRA-finjustering på ikke-Nvidia-maskinvare for første gang i denne kategorien, et grep som kan redusere avhengigheten av spesialiserte brikker og skytjenester, samtidig som sensitive data holdes lagret lokalt på brukernes enheter.

Selskapet la til at tilnærmingen kan gjøre føderert læring mer praktisk ved å tillate at modeller trenes på tvers av distribuerte enheter uten å sentralisere data, et område med økende interesse i personvernfokusert AI-utvikling.

«Ved å muliggjøre meningsfull trening av store modeller på forbrukermaskinvare, inkludert smarttelefoner, viser Tethers QVAC at avansert AI kan desentraliseres, være inkluderende og styrkende for alle», sa Tether-sjef Paolo Ardoino i en uttalelse, og la til at selskapet planlegger fortsatt investering i AI-infrastruktur på enheten.

Den tekniske lanseringen, inkludert benchmarker og implementeringsdetaljer, er publisert via Hugging Face, noe som signaliserer en innsats for å nå utviklere direkte i stedet for å sperre teknologien bak proprietære systemer.

FAQ 🔎

• Hva er Tethers nye AI-rammeverk?
  Tethers QVAC Fabric introduserer et plattformuavhengig system for å trene og kjøre Bitnet-AI-modeller på forbrukerenheter som telefoner og bærbare PC-er.
• Kan smarttelefoner virkelig trene AI-modeller?
  Ja, Tethers benchmarker viser at modeller med milliarder av parametere kan finjusteres på enheter som Samsung S25 og iPhone 16 i løpet av timer.
• Hvorfor er dette viktig for utviklere i USA?
  Det reduserer avhengigheten av dyr skyinfrastruktur og spesialiserte GPU-er, senker kostnadene og øker tilgangen til AI-utvikling.
• Hva gjør Bitnet annerledes enn andre modeller?
  BitNet bruker en 1-bits arkitektur som reduserer minnebruken betydelig og forbedrer effektiviteten sammenlignet med tradisjonelle 16-bits modeller.