Tether lanserar AI-ramverket Bitnet för smartphones, vilket eliminerar behovet av Nvidias GPU:er

Tether AI Framework minskar VRAM-användningen med över 70 % och utökar edge computing

På tisdagen presenterade Tether ett plattformsoberoende LoRA-ramverk för finjustering av Microsofts Bitnet-modeller och introducerade vad man beskrev som det första systemet som kan träna och köra 1-bitars stora språkmodeller på konsumentprodukter, inklusive smartphones och bärbara datorer.

Lanseringen är en del av Tethers QVAC Fabric-stack och är utformad för att minska de stora beräknings- och minneskraven som vanligtvis förknippas med utveckling av artificiell intelligens, vilket hittills i stor utsträckning har varit begränsat till molnleverantörer och avancerad Nvidia-hårdvara.
Genom att stödja heterogen hårdvara – inklusive chip från Intel, AMD och Apple, samt mobila GPU:er – gör ramverket det möjligt för utvecklare att finjustera modeller lokalt utan att förlita sig på centraliserad infrastruktur.

I praktiken innebär det att AI-arbetsbelastningar som tidigare var förbehållna datacenter nu kan köras på enheter som ryms i en ryggsäck eller en ficka, en förändring som kan sänka kostnaderna och bredda tillgången för utvecklare i USA och globalt.
Tether uppger att deras ingenjörer framgångsrikt har demonstrerat finjustering av Bitnet på mobila GPU:er, inklusive Adreno-, Mali- och Apple Bionic-chip, vilket är ett genombrott för den nya 1-bitarsmodellarkitekturen.

Prestandatester som företaget har publicerat visar att en modell med 125 miljoner parametrar kan finjusteras på cirka 10 minuter på en Samsung S25-enhet, medan en modell med 1 miljard parametrar klarar samma uppgift på ungefär 1 timme och 18 minuter på samma hårdvara.

På Apple-enheter rapporterade företaget liknande resultat, där en modell med 1 miljard parametrar finjusterades på cirka 1 timme och 45 minuter på en iPhone 16, och experimentella körningar pressade modeller upp till 13 miljarder parametrar på enheten.

Ramverket visade också mätbara vinster i inferenshastighet, där mobila GPU:er levererade mellan två och 11 gånger CPU:ernas prestanda, enligt Tethers interna prestandatester.

Minneseffektivitet är ett annat viktigt försäljningsargument, där Bitnet-1B använder upp till 77,8 % mindre VRAM än jämförbara 16-bitarsmodeller och mer än 65 % mindre än andra vanliga arkitekturer, vilket gör det möjligt att köra större modeller på begränsad hårdvara.

Tether uppgav att systemet också möjliggör LoRA-finjustering på icke-Nvidia-hårdvara för första gången i denna kategori, ett steg som kan minska beroendet av specialiserade chip och molntjänster samtidigt som känslig data lagras lokalt på användarnas enheter.
Företaget tillade att denna metod kan göra federerat lärande mer praktiskt genom att tillåta att modeller tränas över distribuerade enheter utan att centralisera data, ett område av växande intresse inom integritetsfokuserad AI-utveckling.

”Genom att möjliggöra meningsfull träning av stora modeller på konsumenthårdvara, inklusive smartphones, bevisar Tethers QVAC att avancerad AI kan vara decentraliserad, inkluderande och stärkande för alla”, sade Tethers VD Paolo Ardoino i ett uttalande och tillade att företaget planerar fortsatta investeringar i AI-infrastruktur på enheterna.

Den tekniska rapporten, inklusive benchmark-tester och implementeringsdetaljer, har publicerats via Hugging Face, vilket signalerar en strävan att nå ut direkt till utvecklare snarare än att stänga in tekniken bakom proprietära system.

FAQ 🔎

• Vad är Tethers nya AI-ramverk?
  Tethers QVAC Fabric introducerar ett plattformsoberoende system för träning och körning av Bitnet AI-modeller på konsumentprodukter som telefoner och bärbara datorer.
• Kan smartphones verkligen träna AI-modeller?
  Ja, Tethers prestandatester visar att modeller med miljarder parametrar kan finjusteras på enheter som Samsung S25 och iPhone 16 inom några timmar.
• Varför är detta viktigt för utvecklare i USA?
  Det minskar beroendet av dyr molninfrastruktur och specialiserade GPU:er, vilket sänker kostnaderna och ökar tillgången till AI-utveckling.
• Vad skiljer Bitnet från andra modeller?
  BitNet använder en 1-bitarsarkitektur som avsevärt minskar minnesanvändningen och förbättrar effektiviteten jämfört med traditionella 16-bitarsmodeller.