Tether predstavlja okvir Bitnet AI za pametne telefone, ki odpravlja potrebo po grafičnih procesorjih Nvidia

Okvir Tether AI zmanjša porabo VRAM za več kot 70 % in razširi robno računalništvo

V torek je Tether predstavil večplatformski okvir za natančno nastavitev LoRA za Microsoftove modele Bitnet in s tem uvedel sistem, ki ga opisuje kot prvega, ki je sposoben usposabljati in izvajati 1-bitne velike jezikovne modele na potrošniških napravah, vključno s pametnimi telefoni in prenosnimi računalniki.

Ta izdaja je del Tetherjevega QVAC Fabric sklada in je zasnovana za zmanjšanje velikih zahtev po računalniški moči in pomnilniku, ki so običajno povezane z razvojem umetne inteligence, ki je bil v veliki meri omejen na ponudnike storitev v oblaku in vrhunsko strojno opremo Nvidia.

S podporo heterogene strojne opreme – vključno s čipi Intel, AMD in Apple ter mobilnimi grafičnimi procesorji – okvir omogoča razvijalcem lokalno fine-tuning modelov brez zanašanja na centralizirano infrastrukturo.

V praksi to pomeni, da se lahko delovne obremenitve umetne inteligence, ki so bile nekoč rezervirane za podatkovne centre, zdaj izvajajo na napravah v nahrbtniku ali žepu, kar je sprememba, ki bi lahko znižala stroške in razširila dostop za razvijalce po Združenih državah Amerike in po svetu.
Tether je povedal, da so njihovi inženirji uspešno demonstrirali natančno prilagajanje Bitneta na mobilnih grafičnih procesorjih, vključno s čipi Adreno, Mali in Apple Bionic, kar je prva tovrstna predstavitev za nastajajočo arhitekturo 1-bitnih modelov.

Merila zmogljivosti, ki jih je objavilo podjetje, kažejo, da je mogoče model s 125 milijoni parametrov natančno nastaviti v približno 10 minutah na napravi Samsung S25, medtem ko model z 1 milijardo parametrov isto nalogo opravi v približno 1 uri in 18 minutah na isti strojni opremi.

Podjetje je poročalo o podobnih rezultatih na napravah Apple, kjer je bil model z 1 milijardo parametrov natančno nastavljen v približno 1 uri in 45 minutah na iPhone 16, eksperimentalni testi pa so na napravi dosegli modele z do 13 milijardami parametrov.

Okvir je pokazal tudi merljive izboljšave v hitrosti sklepanja, pri čemer so mobilni grafični procesorji po notranjih primerjavah podjetja Tether dosegli od dvakrat do 11-krat večjo zmogljivost kot procesorji.

Učinkovitost pomnilnika je še ena ključna prednost, saj Bitnet-1B porabi do 77,8 % manj VRAM-a kot primerljivi 16-bitni modeli in več kot 65 % manj kot druge široko uporabljane arhitekture, kar omogoča izvajanje večjih modelov na omejeni strojni opremi.

Tether je povedal, da sistem v tej kategoriji prvič omogoča tudi natančno nastavitev LoRA na strojne opreme, ki ni Nvidia, kar bi lahko zmanjšalo odvisnost od specializiranih čipov in storitev v oblaku, hkrati pa bi občutljivi podatki ostali shranjeni lokalno na uporabniških napravah.
Podjetje je dodalo, da bi ta pristop lahko povečal praktičnost združenega učenja, saj omogoča usposabljanje modelov na različnih napravah brez centralizacije podatkov, kar je področje, ki vzbuja vse večje zanimanje pri razvoju umetne inteligence, osredotočene na zasebnost.

„Z omogočanjem smiselnega usposabljanja velikih modelov na potrošniški strojni opremi, vključno s pametnimi telefoni, Tetherjev QVAC dokazuje, da je napredna umetna inteligenca lahko decentralizirana, vključujoča in vsem daje moč,“ je v izjavi dejal izvršni direktor podjetja Tether Paolo Ardoino ter dodal, da podjetje načrtuje nadaljnje vlaganje v infrastrukturo umetne inteligence na napravah.

Tehnična objava, vključno z merili uspešnosti in podrobnostmi o izvedbi, je bila objavljena prek Hugging Face, kar kaže na prizadevanje za neposredno doseganje razvijalcev, namesto da bi tehnologijo omejili na lastniške sisteme.

Pogosta vprašanja 🔎

• Kaj je novi okvir umetne inteligence podjetja Tether?
  Tetherjev QVAC Fabric uvaja večplatformski sistem za usposabljanje in izvajanje modelov umetne inteligence Bitnet na potrošniških napravah, kot so telefoni in prenosni računalniki.
• Ali lahko pametni telefoni resnično usposabljajo modele umetne inteligence?
  Da, primerjalne analize podjetja Tether kažejo, da je mogoče modele z milijardami parametrov v nekaj urah natančno prilagoditi na napravah, kot sta Samsung S25 in iPhone 16.
• Zakaj je to pomembno za razvijalce v ZDA?
  Zmanjšuje odvisnost od drage oblačne infrastrukture in specializiranih grafičnih procesorjev, s čimer znižuje stroške in povečuje dostop do razvoja umetne inteligence.
• V čem se Bitnet razlikuje od drugih modelov?
  BitNet uporablja 1-bitno arhitekturo, ki v primerjavi s tradicionalnimi 16-bitnimi modeli znatno zmanjša porabo pomnilnika in izboljša učinkovitost.