Tether lansira Bitnet AI okvir za pametne telefone, smanjujući potrebu za Nvidia GPU-ovima

Tetherov AI okvir smanjuje potrošnju VRAM-a za više od 70% i širi edge computing

U utorak je Tether predstavio višeplatformski LoRA okvir za fino podešavanje za Microsoftove Bitnet modele, uvodeći ono što je opisao kao prvi sustav sposoban trenirati i pokretati 1-bitne velike jezične modele na potrošačkim uređajima, uključujući pametne telefone i prijenosna računala.

Objava je dio Tetherova QVAC Fabric stoga i osmišljena je kako bi smanjila velike zahtjeve za računalnom snagom i memorijom koji se obično povezuju s razvojem umjetne inteligencije, koji je uglavnom bio ograničen na pružatelje oblaka i vrhunski Nvidia hardver.

Podržavajući heterogeni hardver—inkluzivno čipove tvrtki Intel, AMD i Apple, kao i mobilne GPU-ove—okvir omogućuje programerima da lokalno fino podešavaju modele bez oslanjanja na centraliziranu infrastrukturu.

U praksi to znači da se AI radna opterećenja koja su nekad bila rezervirana za podatkovne centre sada mogu izvoditi na uređajima koji sjede u ruksaku ili džepu, što je promjena koja bi mogla sniziti troškove i proširiti pristup za programere u Sjedinjenim Državama i globalno.

Tether je rekao da su njegovi inženjeri uspješno demonstrirali Bitnet fino podešavanje na mobilnim GPU-ovima, uključujući Adreno, Mali i Apple Bionic čipove, što predstavlja presedan za novu 1-bitnu arhitekturu modela.

Pokazatelji izvedbe koje je objavila tvrtka pokazuju da se model od 125 milijuna parametara može fino podesiti za oko 10 minuta na uređaju Samsung S25, dok model od 1 milijarde parametara završava isti zadatak za otprilike 1 sat i 18 minuta na istom hardveru.

Na Apple uređajima tvrtka je izvijestila o sličnim rezultatima, pri čemu se model od 1 milijarde parametara fino podešava za približno 1 sat i 45 minuta na iPhoneu 16, a eksperimentalna izvođenja podizala su modele do 13 milijardi parametara na samom uređaju.

Okvir je također pokazao mjerljive dobitke u brzini inferencije, pri čemu mobilni GPU-ovi isporučuju između dva i 11 puta bolje performanse od CPU-ova, prema Tetherovim internim mjerenjima.

Učinkovitost memorije još je jedna ključna prednost, pri čemu Bitnet-1B koristi do 77,8% manje VRAM-a u odnosu na usporedive 16-bitne modele i više od 65% manje nego druge široko korištene arhitekture, omogućujući pokretanje većih modela na ograničenom hardveru.

Tether je rekao da sustav također po prvi put u ovoj kategoriji omogućuje LoRA fino podešavanje na ne-Nvidia hardveru, potez koji bi mogao smanjiti oslanjanje na specijalizirane čipove i usluge u oblaku, dok se osjetljivi podaci zadržavaju lokalno na korisničkim uređajima.

Tvrtka je dodala da bi pristup mogao učiniti federirano učenje praktičnijim omogućujući da se modeli treniraju preko distribuiranih uređaja bez centralizacije podataka, području koje sve više zanima razvoj AI-ja usmjeren na privatnost.

„Omogućujući smisleno treniranje velikih modela na potrošačkom hardveru, uključujući pametne telefone, Tetherov QVAC dokazuje da napredni AI može biti decentraliziran, uključiv i osnažujući za svakoga”, rekao je u izjavi izvršni direktor Tethera Paolo Ardoino, dodajući da tvrtka planira nastavak ulaganja u infrastrukturu AI-ja na uređaju.

Tehnička objava, uključujući benchmarke i detalje implementacije, objavljena je putem Hugging Facea, što signalizira napor da se dosegne programere izravno umjesto da se tehnologija zatvori iza vlasničkih sustava.

FAQ 🔎

• Što je Tetherov novi AI okvir?
  Tetherov QVAC Fabric uvodi višeplatformski sustav za treniranje i pokretanje Bitnet AI modela na potrošačkim uređajima poput telefona i prijenosnih računala.
• Mogu li pametni telefoni zaista trenirati AI modele?
  Da, Tetherovi benchmarki pokazuju da se modeli s milijardama parametara mogu fino podešavati na uređajima poput Samsunga S25 i iPhonea 16 u roku od nekoliko sati.
• Zašto je to važno za programere u SAD-u?
  Smanjuje oslanjanje na skupu infrastrukturu u oblaku i specijalizirane GPU-ove, snižavajući troškove i povećavajući dostupnost razvoja AI-ja.
• Što Bitnet čini drugačijim od drugih modela?
  BitNet koristi 1-bitnu arhitekturu koja značajno smanjuje potrošnju memorije i poboljšava učinkovitost u usporedbi s tradicionalnim 16-bitnim modelima.