Tether lanceert Bitnet AI-framework voor smartphones, waardoor Nvidia-GPU’s overbodig worden

Tether AI-framework vermindert VRAM-gebruik met meer dan 70% en breidt edge computing uit

Dinsdag onthulde Tether een platformonafhankelijk LoRA-framework voor het finetunen van Microsofts Bitnet-modellen. Het bedrijf introduceerde daarmee wat het omschreef als het eerste systeem dat in staat is om 1-bit grote taalmodellen te trainen en uit te voeren op consumentenapparaten, waaronder smartphones en laptops.

De release maakt deel uit van Tether's QVAC Fabric-stack en is ontworpen om de zware reken- en geheugenvereisten te verminderen die doorgaans gepaard gaan met de ontwikkeling van kunstmatige intelligentie, die grotendeels beperkt is gebleven tot cloudproviders en high-end Nvidia-hardware.
Door ondersteuning te bieden voor heterogene hardware – waaronder chips van Intel, AMD en Apple, evenals mobiele GPU's – stelt het framework ontwikkelaars in staat om modellen lokaal te finetunen zonder afhankelijk te zijn van gecentraliseerde infrastructuur.

In de praktijk betekent dit dat AI-workloads die voorheen voorbehouden waren aan datacenters, nu kunnen draaien op apparaten die in een rugzak of broekzak zitten, een verschuiving die de kosten zou kunnen verlagen en de toegang voor ontwikkelaars in de Verenigde Staten en wereldwijd zou kunnen verbreden.
Tether meldde dat zijn ingenieurs met succes de fijnafstemming van Bitnet hebben gedemonstreerd op mobiele GPU's, waaronder Adreno-, Mali- en Apple Bionic-chips, wat een primeur is voor de opkomende 1-bit modelarchitectuur.

Uit prestatiebenchmarks die het bedrijf heeft vrijgegeven, blijkt dat een model met 125 miljoen parameters in ongeveer 10 minuten kan worden gefinetuned op een Samsung S25-apparaat, terwijl een model met 1 miljard parameters dezelfde taak in ongeveer 1 uur en 18 minuten voltooit op dezelfde hardware.

Op Apple-apparaten rapporteerde het bedrijf vergelijkbare resultaten, waarbij een model met 1 miljard parameters in ongeveer 1 uur en 45 minuten werd geoptimaliseerd op een iPhone 16, en experimentele runs modellen tot 13 miljard parameters op het apparaat zelf uitvoerden.

Het framework liet ook meetbare verbeteringen zien in de inferentiesnelheid, waarbij mobiele GPU's volgens de interne benchmarks van Tether tussen de twee en elf keer de prestaties van CPU's leverden.

Geheugenefficiëntie is een ander belangrijk verkoopargument: Bitnet-1B verbruikt tot 77,8% minder VRAM dan vergelijkbare 16-bits modellen en meer dan 65% minder dan andere veelgebruikte architecturen, waardoor grotere modellen op beperkte hardware kunnen draaien.

Tether zei dat het systeem voor het eerst in deze categorie ook LoRA-fine-tuning op niet-Nvidia-hardware mogelijk maakt, een stap die de afhankelijkheid van gespecialiseerde chips en clouddiensten zou kunnen verminderen, terwijl gevoelige gegevens lokaal op gebruikersapparaten worden opgeslagen.

Het bedrijf voegde eraan toe dat de aanpak federated learning praktischer zou kunnen maken door modellen te trainen op verspreide apparaten zonder gegevens te centraliseren, een gebied dat steeds meer belangstelling geniet bij de ontwikkeling van privacygerichte AI.

“Door zinvolle training van grote modellen op consumentenhardware, waaronder smartphones, mogelijk te maken, bewijst Tether’s QVAC dat geavanceerde AI gedecentraliseerd, inclusief en empowerend kan zijn voor iedereen,” zei Tether-CEO Paolo Ardoino in een verklaring, eraan toevoegend dat het bedrijf van plan is te blijven investeren in AI-infrastructuur op apparaten.

De technische release, inclusief benchmarks en implementatiedetails, is gepubliceerd via Hugging Face, wat duidt op een poging om ontwikkelaars rechtstreeks te bereiken in plaats van de technologie achter propriëtaire systemen af te schermen.

Veelgestelde vragen 🔎

• Wat is het nieuwe AI-framework van Tether?
  Tether’s QVAC Fabric introduceert een platformonafhankelijk systeem voor het trainen en uitvoeren van Bitnet AI-modellen op consumentenapparaten zoals telefoons en laptops.
• Kunnen smartphones echt AI-modellen trainen?
  Ja, uit de benchmarks van Tether blijkt dat modellen met miljarden parameters binnen enkele uren kunnen worden gefinetuned op apparaten zoals de Samsung S25 en iPhone 16.
• Waarom is dit belangrijk voor Amerikaanse ontwikkelaars?
  Het vermindert de afhankelijkheid van dure cloudinfrastructuur en gespecialiseerde GPU's, waardoor de kosten dalen en de toegang tot AI-ontwikkeling toeneemt.
• Wat onderscheidt Bitnet van andere modellen?
  BitNet maakt gebruik van een 1-bit-architectuur die het geheugengebruik aanzienlijk vermindert en de efficiëntie verbetert in vergelijking met traditionele 16-bit-modellen.