Tether lanseeraa Bitnet-tekoälyalustan älypuhelimille, mikä vähentää Nvidian grafiikkaprosessoreiden tarvetta

Tetherin tekoälykehys vähentää VRAM-muistin käyttöä yli 70 % ja laajentaa reunalaskentaa

Tiistaina Tether julkisti monialustaisen LoRA-hienosäätökehyksen Microsoftin Bitnet-malleille ja esitteli järjestelmän, jota se kuvaili ensimmäiseksi järjestelmäksi, joka pystyy kouluttamaan ja ajamaan 1-bittisiä suuria kielimalleja kuluttajalaitteilla, kuten älypuhelimilla ja kannettavilla tietokoneilla.

Julkaisu on osa Tetherin QVAC Fabric -pinoa, ja se on suunniteltu vähentämään tekoälyn kehittämiseen tyypillisesti liittyviä suuria laskentateho- ja muistivaatimuksia, jotka ovat tähän asti rajoittuneet pääasiassa pilvipalveluntarjoajiin ja huippuluokan Nvidia-laitteistoihin.
Tukemalla heterogeenista laitteistoa – mukaan lukien Intelin, AMD:n ja Applen sirut sekä mobiili-GPU:t – kehys antaa kehittäjille mahdollisuuden hienosäätää malleja paikallisesti ilman riippuvuutta keskitetyistä infrastruktuureista.

Käytännössä tämä tarkoittaa, että tekoälyn työkuormat, jotka aiemmin olivat varattuja datakeskuksille, voidaan nyt suorittaa laitteilla, jotka mahtuvat reppuun tai taskuun. Tämä muutos voi alentaa kustannuksia ja laajentaa kehittäjien pääsyä tekoälyyn Yhdysvalloissa ja maailmanlaajuisesti.
Tetherin mukaan sen insinöörit ovat onnistuneesti demonstroineet Bitnetin hienosäätöä mobiilissa GPU:issa, mukaan lukien Adreno-, Mali- ja Apple Bionic -sirut, mikä on ensimmäinen kerta kehittyvälle 1-bittiselle malliarkkitehtuurille.

Yhtiön julkaisemien suorituskykyvertailujen mukaan 125 miljoonan parametrin malli voidaan hienosäätää noin 10 minuutissa Samsung S25 -laitteella, kun taas 1 miljardin parametrin malli suorittaa saman tehtävän noin 1 tunnissa ja 18 minuutissa samalla laitteistolla.

Yritys raportoi samanlaisista tuloksista Apple-laitteilla: miljardin parametrin malli hienosäädettiin noin 1 tunnissa ja 45 minuutissa iPhone 16:lla, ja kokeellisissa ajoissa laitteella ajettiin jopa 13 miljardin parametrin malleja.

Tetherin sisäisten vertailutestien mukaan kehys osoitti myös mitattavia parannuksia päättelynopeudessa, sillä mobiili-GPU:t tuottivat 2–11-kertaisen suorituskyvyn verrattuna CPU:ihin.

Muistin tehokkuus on toinen keskeinen myyntivaltti, sillä Bitnet-1B käyttää jopa 77,8 % vähemmän VRAM-muistia kuin vastaavat 16-bittiset mallit ja yli 65 % vähemmän kuin muut laajasti käytetyt arkkitehtuurit, mikä mahdollistaa suurempien mallien ajamisen rajoitetulla laitteistolla.

Tetherin mukaan järjestelmä mahdollistaa myös LoRA-hienosäätön ensimmäistä kertaa tässä kategoriassa muilla kuin Nvidian laitteistoilla, mikä voi vähentää riippuvuutta erikoistuneista siruista ja pilvipalveluista samalla kun arkaluontoiset tiedot säilytetään paikallisesti käyttäjien laitteilla.
Yhtiö lisäsi, että lähestymistapa voi tehdä federoidusta oppimisesta käytännöllisempää sallimalla mallien kouluttamisen hajautetuilla laitteilla ilman tietojen keskittämistä, mikä on kasvavan kiinnostuksen kohteena yksityisyyttä painottavassa tekoälyn kehityksessä.

”Mahdollistamalla merkittävän suurten mallien koulutuksen kuluttajalaitteilla, mukaan lukien älypuhelimet, Tetherin QVAC osoittaa, että edistynyt tekoäly voi olla hajautettua, osallistavaa ja voimaannuttavaa kaikille”, Tetherin toimitusjohtaja Paolo Ardoino sanoi lausunnossaan ja lisäsi, että yritys aikoo jatkaa investointeja laitteiden sisäiseen tekoälyinfrastruktuuriin.

Tekninen julkaisu, joka sisältää vertailuarvot ja toteutuksen yksityiskohdat, on julkaistu Hugging Facen kautta, mikä osoittaa pyrkimystä tavoittaa kehittäjät suoraan sen sijaan, että teknologiaa pidettäisiin suljettuna omien järjestelmien takana.

UKK 🔎

• Mikä on Tetherin uusi tekoälykehys?
  Tetherin QVAC Fabric esittelee monialustainen järjestelmä Bitnet-tekoälymallien kouluttamiseen ja ajamiseen kuluttajalaitteilla, kuten puhelimilla ja kannettavilla tietokoneilla.
• Voivatko älypuhelimet todella kouluttaa tekoälymalleja?
  Kyllä, Tetherin vertailutestit osoittavat, että miljardiparametrisia malleja voidaan hienosäätää laitteilla, kuten Samsung S25 ja iPhone 16, muutamassa tunnissa.
• Miksi tämä on tärkeää yhdysvaltalaisille kehittäjille?
  Se vähentää riippuvuutta kalliista pilvi-infrastruktuurista ja erikoistuneista GPU:ista, mikä alentaa kustannuksia ja parantaa tekoälyn kehittämisen saatavuutta.
• Mikä erottaa Bitnetin muista malleista?
  BitNet käyttää 1-bittistä arkkitehtuuria, joka vähentää merkittävästi muistin käyttöä ja parantaa tehokkuutta verrattuna perinteisiin 16-bittisiin malleihin.