Tether bringt das Bitnet-KI-Framework für Smartphones auf den Markt und macht Nvidia-GPUs damit überflüssig

Das Tether-KI-Framework senkt den VRAM-Verbrauch um über 70 % und erweitert das Edge-Computing.

Am Dienstag stellte Tether ein plattformübergreifendes LoRA-Fine-Tuning-Framework für Microsofts Bitnet-Modelle vor und präsentierte damit das nach eigenen Angaben erste System, das in der Lage ist, 1-Bit-Großsprachenmodelle auf Verbrauchergeräten wie Smartphones und Laptops zu trainieren und auszuführen.

Die Veröffentlichung ist Teil von Tethers QVAC-Fabric-Stack und soll die hohen Rechen- und Speicheranforderungen reduzieren, die typischerweise mit der Entwicklung künstlicher Intelligenz verbunden sind, die bislang weitgehend auf Cloud-Anbieter und High-End-Hardware von Nvidia beschränkt war. Durch die Unterstützung heterogener Hardware – einschließlich Chips von Intel, AMD und Apple sowie mobiler GPUs – ermöglicht das Framework Entwicklern, Modelle lokal zu optimieren, ohne auf eine zentralisierte Infrastruktur angewiesen zu sein.

In der Praxis bedeutet dies, dass KI-Workloads, die früher Rechenzentren vorbehalten waren, nun auf Geräten ausgeführt werden können, die in einem Rucksack oder einer Hosentasche Platz finden – eine Entwicklung, die Kosten senken und den Zugang für Entwickler in den Vereinigten Staaten und weltweit erweitern könnte. Tether gab bekannt, dass seine Ingenieure die Feinabstimmung von Bitnet auf mobilen GPUs, darunter Adreno-, Mali- und Apple-Bionic-Chips, erfolgreich demonstriert haben – eine Premiere für die aufstrebende 1-Bit-Modellarchitektur.

Von dem Unternehmen veröffentlichte Leistungsbenchmarks zeigen, dass ein Modell mit 125 Millionen Parametern auf einem Samsung S25-Gerät in etwa 10 Minuten feinabgestimmt werden kann, während ein Modell mit 1 Milliarde Parametern dieselbe Aufgabe auf derselben Hardware in etwa 1 Stunde und 18 Minuten erledigt.

Auf Apple-Geräten meldete das Unternehmen ähnliche Ergebnisse: Ein Modell mit 1 Milliarde Parametern wurde auf einem iPhone 16 in etwa 1 Stunde und 45 Minuten feinabgestimmt, und in experimentellen Durchläufen wurden Modelle mit bis zu 13 Milliarden Parametern auf dem Gerät verarbeitet. Das Framework zeigte auch messbare Verbesserungen bei der Inferenzgeschwindigkeit, wobei mobile GPUs laut internen Benchmarks von Tether die 2- bis 11-fache Leistung von CPUs erbrachten.

Die Speichereffizienz ist ein weiteres wichtiges Verkaufsargument: Bitnet-1B verbraucht bis zu 77,8 % weniger VRAM als vergleichbare 16-Bit-Modelle und mehr als 65 % weniger als andere weit verbreitete Architekturen, wodurch größere Modelle auf begrenzter Hardware ausgeführt werden können.

Tether erklärte, das System ermögliche zudem erstmals in dieser Kategorie eine LoRA-Feinabstimmung auf Nicht-Nvidia-Hardware – ein Schritt, der die Abhängigkeit von spezialisierten Chips und Cloud-Diensten verringern und gleichzeitig sensible Daten lokal auf den Geräten der Nutzer speichern könnte. Das Unternehmen fügte hinzu, dass dieser Ansatz das föderierte Lernen praktischer machen könnte, indem Modelle über verteilte Geräte hinweg trainiert werden können, ohne Daten zu zentralisieren – ein Bereich, der bei der datenschutzorientierten KI-Entwicklung zunehmend an Bedeutung gewinnt.

„Indem Tether mit QVAC das Training bedeutender großer Modelle auf Verbraucherhardware, einschließlich Smartphones, ermöglicht, beweist das Unternehmen, dass fortschrittliche KI dezentralisiert, inklusiv und für alle nutzbringend sein kann“, sagte Tether-CEO Paolo Ardoino in einer Erklärung und fügte hinzu, dass das Unternehmen weitere Investitionen in die KI-Infrastruktur auf den Geräten plane.

Die technische Veröffentlichung, einschließlich Benchmarks und Implementierungsdetails, wurde über Hugging Face veröffentlicht, was auf das Bestreben hindeutet, Entwickler direkt anzusprechen, anstatt die Technologie hinter proprietären Systemen zu verschließen.

FAQ 🔎

• Was ist das neue KI-Framework von Tether? Tethers QVAC Fabric führt ein plattformübergreifendes System für das Training und die Ausführung von Bitnet-KI-Modellen auf Verbrauchergeräten wie Smartphones und Laptops ein.
• Können Smartphones wirklich KI-Modelle trainieren? Ja, Tethers Benchmarks zeigen, dass Modelle mit Milliarden von Parametern auf Geräten wie dem Samsung S25 und dem iPhone 16 innerhalb weniger Stunden feinabgestimmt werden können.
• Warum ist dies für US-Entwickler wichtig? Es verringert die Abhängigkeit von teurer Cloud-Infrastruktur und spezialisierten GPUs, senkt die Kosten und verbessert den Zugang zur KI-Entwicklung.
• Was unterscheidet Bitnet von anderen Modellen? BitNet nutzt eine 1-Bit-Architektur, die den Speicherbedarf im Vergleich zu herkömmlichen 16-Bit-Modellen deutlich reduziert und die Effizienz verbessert.