A Tether egy olyan keretrendszerrel veszi célba a nagy technológiai cégek mesterséges intelligencia-hardver terén kialakított versenyelőnyét, amely ígéretet tesz arra, hogy a milliárd paraméteres modellek betanítását olyan szintre csökkenti, amelyet már a mobiltelefonok is képesek kezelni.
A Tether elindítja a Bitnet mesterséges intelligencia keretrendszert okostelefonokra, így nincs szükség az Nvidia GPU-kra
ÍRTA
MEGOSZTÁS
A Tether AI keretrendszer több mint 70%-kal csökkenti a VRAM-használatot, és kiterjeszti az edge computingot
Kedden a Tether bemutatta a Microsoft Bitnet-modellekhez készült, platformok közötti LoRA finomhangoló keretrendszerét, amely szerinte az első olyan rendszer, amely képes 1-bites nagy nyelvi modelleket betanítani és futtatni fogyasztói eszközökön, beleértve az okostelefonokat és a laptopokat is.
A kiadás a Tether QVAC Fabric stackjének része, és célja, hogy csökkentse a mesterséges intelligencia fejlesztéséhez általában kapcsolódó nagy számítási és memóriaigényt, amely eddig nagyrészt a felhőszolgáltatókra és a csúcskategóriás Nvidia hardverekre korlátozódott.
A heterogén hardverek – beleértve az Intel, az AMD és az Apple chipjeit, valamint a mobil GPU-kat – támogatásával a keretrendszer lehetővé teszi a fejlesztők számára, hogy a modelleket helyben finomítsák anélkül, hogy központi infrastruktúrára lenne szükségük.
A gyakorlatban ez azt jelenti, hogy az egykor az adatközpontok számára fenntartott mesterséges intelligencia-feladatok most már a hátizsákban vagy a zsebben lévő eszközökön is futtathatók, ami költségcsökkentést és szélesebb körű hozzáférést jelenthet a fejlesztők számára az Egyesült Államokban és világszerte.
A Tether közlése szerint mérnökei sikeresen bemutatták a Bitnet finomhangolását mobil GPU-kon, beleértve az Adreno, a Mali és az Apple Bionic chipeket, ami úttörő eredménynek számít a kialakulóban lévő 1-bites modellarchitektúra terén.
A vállalat által közzétett teljesítmény-benchmarkok azt mutatják, hogy egy 125 millió paraméteres modell finomhangolása körülbelül 10 perc alatt elvégezhető egy Samsung S25 eszközön, míg egy 1 milliárd paraméteres modell ugyanazon a hardveren körülbelül 1 óra 18 perc alatt végzi el ugyanazt a feladatot.
Apple-eszközökön a vállalat hasonló eredményekről számolt be: egy 1 milliárd paraméteres modell finomhangolása körülbelül 1 óra 45 perc alatt történt meg egy iPhone 16-on, és kísérleti futtatások során akár 13 milliárd paraméteres modelleket is futtattak az eszközön.
A keretrendszer mérhető előrelépést mutatott a következtetés sebességében is: a Tether belső teljesítménytesztjei szerint a mobil GPU-k a CPU-k teljesítményének 2-11-szeresét nyújtják.
A memóriahatékonyság egy másik fontos érv a termék mellett: a Bitnet-1B akár 77,8%-kal kevesebb VRAM-ot használ, mint a hasonló 16 bites modellek, és több mint 65%-kal kevesebbet, mint más széles körben használt architektúrák, így nagyobb modellek futtathatók korlátozott hardveren is.
A Tether szerint a rendszer ezen a kategóriában elsőként teszi lehetővé a LoRA finomhangolását nem Nvidia hardverekre is, ami csökkentheti a speciális chipek és felhőszolgáltatások iránti függőséget, miközben az érzékeny adatok helyben, a felhasználói eszközökön maradnak tárolva.
A vállalat hozzátette, hogy ez a megközelítés praktikusabbá teheti a szövetségi tanulást, mivel lehetővé teszi a modellek elosztott eszközökön történő betanítását az adatok központosítása nélkül, ami egyre nagyobb érdeklődést vált ki a magánéletre összpontosító AI-fejlesztés területén.
A Ripple agresszív terjeszkedésbe kezdett Brazíliában, célja az intézményi kriptopiac uralma
A Ripple felgyorsítja átfogó terjeszkedését a brazil pénzügyi rendszerben, és ezzel az intézményi kriptovaluta-infrastruktúra középpontjába kerül, mint read more.
Olvass most
A Ripple agresszív terjeszkedésbe kezdett Brazíliában, célja az intézményi kriptopiac uralma
A Ripple felgyorsítja átfogó terjeszkedését a brazil pénzügyi rendszerben, és ezzel az intézményi kriptovaluta-infrastruktúra középpontjába kerül, mint read more.
Olvass mostA Ripple agresszív terjeszkedésbe kezdett Brazíliában, célja az intézményi kriptopiac uralma
Olvass mostA Ripple felgyorsítja átfogó terjeszkedését a brazil pénzügyi rendszerben, és ezzel az intézményi kriptovaluta-infrastruktúra középpontjába kerül, mint read more.
„Azáltal, hogy lehetővé teszi a jelentős nagymodellek képzését fogyasztói hardverek, köztük okostelefonok segítségével, a Tether QVAC-ja bizonyítja, hogy a fejlett mesterséges intelligencia decentralizált, inkluzív és mindenki számára lehetőségeket nyújtó lehet” – mondta Paolo Ardoino, a Tether vezérigazgatója egy nyilatkozatában, hozzátéve, hogy a vállalat továbbra is tervezi a készüléken futó mesterséges intelligencia infrastruktúrába történő befektetést.
A technikai kiadvány, amely tartalmazza a teljesítményméréseket és a megvalósítás részleteit, a Hugging Face-en keresztül jelent meg, jelezve azt atörekvést, hogy közvetlenül a fejlesztőkhöz szóljanak, ahelyett, hogy a technológiát saját rendszerek mögé zárnák.
GYIK 🔎
- Mi a Tether új mesterséges intelligencia keretrendszere?
A Tether QVAC Fabric egy platformok közötti rendszert vezet be a Bitnet mesterséges intelligencia modellek képzésére és futtatására olyan fogyasztói eszközökön, mint a telefonok és a laptopok. - Tényleg képesek az okostelefonok AI-modelleket betanítani?
Igen, a Tether teljesítménytesztjei azt mutatják, hogy milliárd paraméteres modellek is finomhangolhatók olyan eszközökön, mint a Samsung S25 és az iPhone 16, és ez mindössze néhány órát vesz igénybe. - Miért fontos ez az amerikai fejlesztők számára?
Csökkenti a drága felhőinfrastruktúrától és speciális GPU-któl való függőséget, ezzel csökkentve a költségeket és növelve az AI-fejlesztéshez való hozzáférést. - Mi különbözteti meg a Bitnetet más modellektől?
A BitNet 1-bites architektúrát használ, amely jelentősen csökkenti a memóriahasználatot és javítja a hatékonyságot a hagyományos 16-bites modellekhez képest.
