Tether toob turule nutitelefonidele mõeldud Bitneti tehisintellekti raamistiku, mis vähendab vajadust Nvidia graafikakaartide järele

Tetheri AI-raamistik vähendab VRAM-i kasutust üle 70% ja laiendab servarvutust

Teisipäeval tutvustas Tether platvormiülese LoRA-häälestusraamistiku Microsofti Bitnet-mudelitele, esitades selle, mida kirjeldati kui esimest süsteemi, mis suudab koolitada ja käitada 1-bitiseid suuri keelemudeleid tarbijaseadmetes, sealhulgas nutitelefonides ja sülearvutites.

Väljalase on osa Tetheri QVAC Fabric-stakist ja on mõeldud vähendama suuri arvutus- ja mälunõudeid, mis on tavaliselt seotud tehisintellekti arendamisega, mis on suures osas piirdunud pilvepakkujate ja tippklassi Nvidia riistvaraga.
Toetades heterogeenset riistvara – sealhulgas Inteli, AMD ja Apple'i kiipe ning mobiilseid GPU-sid – võimaldab raamistik arendajatel mudeleid kohapeal täpsustada, ilma et nad peaksid tuginema tsentraliseeritud infrastruktuurile.

Praktikas tähendab see, et varem andmekeskustele reserveeritud tehisintellekti töökoormused saavad nüüd töötada seadmetel, mis mahuvad seljakotti või taskusse – see muudatus võib vähendada kulusid ja laiendada arendajate juurdepääsu nii Ameerika Ühendriikides kui ka kogu maailmas.
Tether teatas, et nende insenerid demonstreerisid edukalt Bitneti täpsustamist mobiilsetel graafikaprotsessoritel, sealhulgas Adreno, Mali ja Apple Bionic kiipidel, mis on esmakordne saavutus areneva 1-bitise mudeli arhitektuuri jaoks.

Ettevõtte avaldatud jõudlusvõrdlused näitavad, et 125 miljoni parameetriga mudelit saab Samsung S25 seadmel täpsustada umbes 10 minutiga, samas kui 1 miljardi parameetriga mudel täidab sama ülesande samal riistvaral umbes 1 tunni ja 18 minutiga.

Apple'i seadmetel teatas ettevõte sarnastest tulemustest: 1 miljardi parameetriga mudel häälestati iPhone 16-l umbes 1 tunni ja 45 minutiga ning eksperimentaalsete katsete käigus suudeti seadmel käivitada kuni 13 miljardi parameetriga mudeleid.

Raamistik näitas ka mõõdetavat kasu järelduskiiruses, kus mobiilsed GPU-d pakkusid Tetheri sisemiste võrdlustestide kohaselt 2–11 korda paremat jõudlust kui CPU-d.

Mälutõhusus on veel üks oluline müügiargument, kuna Bitnet-1B kasutab kuni 77,8% vähem VRAM-i kui võrreldavad 16-bitised mudelid ja üle 65% vähem kui teised laialt kasutatavad arhitektuurid, võimaldades suuremate mudelite töötamist piiratud riistvaral.

Tetheri sõnul võimaldab süsteem selles kategoorias esmakordselt ka LoRA-täpsustamist muul kui Nvidia riistvaral, mis võib vähendada sõltuvust spetsiaalsetest kiipidest ja pilveteenustest, hoides samal ajal tundlikud andmed kohalikult kasutajate seadmetel.
Ettevõte lisas, et see lähenemine võib muuta föderatiivse õppimise praktilisemaks, võimaldades mudeleid treenida hajutatud seadmetel ilma andmeid tsentraliseerimata – see on valdkond, mille vastu huvi privaatsusele keskendunud tehisintellekti arenduses kasvab.

„Võimaldades tarbijate riistvaral, sealhulgas nutitelefonidel, oluliste suurte mudelite koolitamist, tõestab Tetheri QVAC, et arenenud tehisintellekt võib olla detsentraliseeritud, kaasav ja kõigile võimaldav,” ütles Tetheri tegevjuht Paolo Ardoino avalduses, lisades, et ettevõte kavatseb jätkata investeerimist seadmesisestesse tehisintellekti infrastruktuuridesse.

Tehniline pressiteade, sealhulgas võrdlusandmed ja rakendamise üksikasjad, on avaldatud Hugging Face'i kaudu, mis näitab püüdu jõuda otse arendajateni, selle asemel et piirata tehnoloogiat patenteeritud süsteemide taha.

KKK 🔎

• Mis on Tetheri uus tehisintellekti raamistik?
  Tetheri QVAC Fabric tutvustab platvormiülest süsteemi Bitneti tehisintellekti mudelite koolitamiseks ja käitamiseks tarbijaseadmetel, nagu telefonid ja sülearvutid.
• Kas nutitelefonid suudavad tõesti AI-mudeleid koolitada?
  Jah, Tetheri võrdlusandmed näitavad, et miljardiparameetrilisi mudeleid saab seadmetel nagu Samsung S25 ja iPhone 16 mõne tunni jooksul täpselt häälestada.
• Miks on see oluline USA arendajatele?
  See vähendab sõltuvust kallistest pilveinfrastruktuuridest ja spetsialiseeritud GPU-dest, alandades kulusid ja suurendades juurdepääsu AI arendamisele.
• Mis eristab Bitnetit teistest mudelitest?
  BitNet kasutab 1-bitist arhitektuuri, mis vähendab märkimisväärselt mälu kasutust ja parandab tõhusust võrreldes traditsiooniliste 16-bitiste mudelitega.