Tether lancerer Bitnet AI-rammeværk til smartphones, hvilket eliminerer behovet for Nvidia-GPU'er

Tether AI Framework reducerer VRAM-forbruget med over 70 % og udvider edge computing

Tirsdag afslørede Tether et platformsuafhængigt LoRA-finjusteringsframework til Microsofts Bitnet-modeller og introducerede det, som de beskrev som det første system, der er i stand til at træne og køre 1-bit store sprogmodeller på tværs af forbrugerenheder, herunder smartphones og bærbare computere.

Udgivelsen er en del af Tethers QVAC Fabric-stack og er designet til at reducere de store beregnings- og hukommelseskrav, der typisk er forbundet med udvikling af kunstig intelligens, som i vid udstrækning har været begrænset til cloududbydere og high-end Nvidia-hardware.

Ved at understøtte heterogen hardware – herunder chips fra Intel, AMD og Apple samt mobile GPU'er – giver rammen udviklere mulighed for at finjustere modeller lokalt uden at være afhængige af centraliseret infrastruktur.

I praksis betyder det, at AI-arbejdsbelastninger, der tidligere var forbeholdt datacentre, nu kan køre på enheder, der ligger i en rygsæk eller en lomme – en ændring, der kan sænke omkostningerne og udvide adgangen for udviklere i hele USA og globalt.
Tether oplyser, at virksomhedens ingeniører med succes har demonstreret finjustering af Bitnet på mobile GPU'er, herunder Adreno-, Mali- og Apple Bionic-chips, hvilket er en første for den nye 1-bit-modelarkitektur.

Ydelsesbenchmarks offentliggjort af virksomheden viser, at en model med 125 millioner parametre kan finjusteres på cirka 10 minutter på en Samsung S25-enhed, mens en model med 1 milliard parametre udfører den samme opgave på cirka 1 time og 18 minutter på den samme hardware.

På Apple-enheder rapporterede virksomheden lignende resultater, hvor en model med 1 milliard parametre blev finjusteret på cirka 1 time og 45 minutter på en iPhone 16, og eksperimentelle kørsler skubbede modeller op til 13 milliarder parametre på enheden.

Frameworket viste også målbare gevinster i inferenshastighed, hvor mobile GPU'er leverede mellem to og 11 gange CPU'ernes ydeevne, ifølge Tethers interne benchmarks.

Hukommelseseffektivitet er et andet vigtigt salgsargument, idet Bitnet-1B bruger op til 77,8 % mindre VRAM end sammenlignelige 16-bit-modeller og mere end 65 % mindre end andre udbredte arkitekturer, hvilket gør det muligt at køre større modeller på begrænset hardware.

Tether sagde, at systemet også muliggør LoRA-finjustering på ikke-Nvidia-hardware for første gang i denne kategori, et skridt, der kan reducere afhængigheden af specialiserede chips og cloud-tjenester, samtidig med at følsomme data opbevares lokalt på brugernes enheder.

Virksomheden tilføjede, at tilgangen kan gøre federeret læring mere praktisk ved at gøre det muligt at træne modeller på tværs af distribuerede enheder uden at centralisere data, et område med voksende interesse inden for privatlivsfokuseret AI-udvikling.

Ripple ekspanderer kraftigt i Brasilien og sigter mod at blive den dominerende kryptovaluta blandt institutionelle investorer

Ripple sætter fart på en omfattende udvidelse i det brasilianske finansielle system og placerer sig dermed i centrum af den institutionelle kryptoinfrastruktur som read more.

Læs nu

Ripple ekspanderer kraftigt i Brasilien og sigter mod at blive den dominerende kryptovaluta blandt institutionelle investorer

Ripple sætter fart på en omfattende udvidelse i det brasilianske finansielle system og placerer sig dermed i centrum af den institutionelle kryptoinfrastruktur som read more.

Læs nu

Ripple ekspanderer kraftigt i Brasilien og sigter mod at blive den dominerende kryptovaluta blandt institutionelle investorer

Læs nu

Ripple sætter fart på en omfattende udvidelse i det brasilianske finansielle system og placerer sig dermed i centrum af den institutionelle kryptoinfrastruktur som read more.

"Ved at muliggøre meningsfuld træning af store modeller på forbrugerhardware, herunder smartphones, beviser Tethers QVAC, at avanceret AI kan være decentraliseret, inkluderende og styrkende for alle," sagde Tethers CEO Paolo Ardoino i en erklæring og tilføjede, at virksomheden planlægger fortsatte investeringer i AI-infrastruktur på enhederne.

Den tekniske udgivelse, herunder benchmarks og implementeringsdetaljer, er blevet offentliggjort via Hugging Face, hvilket signalerer et forsøg på at nå ud til udviklere direkte i stedet for at låse teknologien bag proprietære systemer inde.

FAQ 🔎

• Hvad er Tethers nye AI-rammeværk?
  Tethers QVAC Fabric introducerer et platformsuafhængigt system til træning og kørsel af Bitnet AI-modeller på forbrugerenheder som telefoner og bærbare computere.
• Kan smartphones virkelig træne AI-modeller?
  Ja, Tethers benchmarks viser, at modeller med milliarder af parametre kan finjusteres på enheder som Samsung S25 og iPhone 16 inden for få timer.
• Hvorfor er dette vigtigt for amerikanske udviklere?
  Det mindsker afhængigheden af dyr cloud-infrastruktur og specialiserede GPU'er, hvilket sænker omkostningerne og øger adgangen til AI-udvikling.
• Hvad adskiller Bitnet fra andre modeller?
  BitNet bruger en 1-bit-arkitektur, der reducerer hukommelsesforbruget betydeligt og forbedrer effektiviteten sammenlignet med traditionelle 16-bit-modeller.