Spoločnosť Tether uvádza na trh rámec umelej inteligencie Bitnet pre smartfóny, čím eliminuje potrebu grafických kariet Nvidia

Rámec Tether AI znižuje využitie VRAM o viac ako 70 % a rozširuje edge computing

V utorok spoločnosť Tether predstavila multiplatformový rámec na jemné ladenie LoRA pre modely Bitnet od spoločnosti Microsoft, čím uviedla na trh systém, ktorý označila za prvý schopný trénovať a spúšťať 1-bitové veľké jazykové modely na spotrebiteľských zariadeniach, vrátane smartfónov a notebookov.

Toto vydanie je súčasťou stacku QVAC Fabric spoločnosti Tether a je navrhnuté tak, aby znížilo vysoké nároky na výpočtový výkon a pamäť, ktoré sú typicky spojené s vývojom umelej inteligencie, ktorý bol doteraz obmedzený prevažne na poskytovateľov cloudových služieb a špičkový hardvér spoločnosti Nvidia.

Vďaka podpore heterogénneho hardvéru – vrátane čipov od spoločností Intel, AMD a Apple, ako aj mobilných grafických procesorov – umožňuje tento rámec vývojárom jemne ladieť modely lokálne bez spoliehania sa na centralizovanú infraštruktúru.

V praxi to znamená, že úlohy umelej inteligencie, ktoré boli kedysi vyhradené pre dátové centrá, môžu teraz bežať na zariadeniach vo vašom batohu alebo vo vrecku, čo je posun, ktorý by mohol znížiť náklady a rozšíriť prístup pre vývojárov v Spojených štátoch aj globálne.
Spoločnosť Tether uviedla, že jej inžinieri úspešne predviedli jemné ladenie Bitnetu na mobilných grafických procesoroch, vrátane čipov Adreno, Mali a Apple Bionic, čo je prvenstvo pre túto vznikajúcu architektúru 1-bitových modelov.

Výkonnostné benchmarky zverejnené spoločnosťou ukazujú, že model s 125 miliónmi parametrov je možné jemne vyladiť za približne 10 minút na zariadení Samsung S25, zatiaľ čo model s 1 miliardou parametrov dokončí tú istú úlohu za približne 1 hodinu a 18 minút na tom istom hardvéri.

Na zariadeniach Apple spoločnosť zaznamenala podobné výsledky, pričom model s 1 miliardou parametrov bol vyladený za približne 1 hodinu a 45 minút na iPhone 16 a experimentálne behy posunuli modely až na 13 miliárd parametrov priamo na zariadení.

Tento framework tiež preukázal merateľné zlepšenie rýchlosti inferencie, pričom mobilné GPU dosahujú podľa interných benchmarkov spoločnosti Tether výkon 2- až 11-násobne vyšší ako CPU.

Účinnosť pamäte je ďalším kľúčovým predajným argumentom, pričom Bitnet-1B využíva až o 77,8 % menej VRAM než porovnateľné 16-bitové modely a o viac ako 65 % menej než iné široko používané architektúry, čo umožňuje spúšťať väčšie modely na obmedzenom hardvéri.

Spoločnosť Tether uviedla, že systém tiež po prvýkrát v tejto kategórii umožňuje jemné ladenie LoRA na hardvéri, ktorý nie je od spoločnosti Nvidia, čo by mohlo znížiť závislosť od špecializovaných čipov a cloudových služieb a zároveň udržať citlivé údaje uložené lokálne na zariadeniach používateľov.
Spoločnosť dodala, že tento prístup by mohol urobiť federatívne učenie praktickejším tým, že umožní trénovať modely na distribuovaných zariadeniach bez centralizácie údajov, čo je oblasť rastúceho záujmu vo vývoji umelej inteligencie zameranej na ochranu súkromia.

„Tým, že umožňuje zmysluplné trénovanie veľkých modelov na spotrebiteľskom hardvéri, vrátane smartfónov, QVAC od spoločnosti Tether dokazuje, že pokročilá umelá inteligencia môže byť decentralizovaná, inkluzívna a posilňujúca pre každého,“ uviedol vo vyhlásení generálny riaditeľ spoločnosti Tether Paolo Ardoino a dodal, že spoločnosť plánuje pokračovať v investíciách do infraštruktúry umelej inteligencie na zariadeniach.

Technická správa, vrátane benchmarkov a podrobností o implementácii, bola uverejnená prostredníctvom Hugging Face, čo signalizuje snahu osloviť vývojárov priamo, namiesto toho, aby bola technológia uzavretá za proprietárnymi systémami.

FAQ 🔎

• Čo je nový rámec umelej inteligencie spoločnosti Tether?
  QVAC Fabric od spoločnosti Tether predstavuje multiplatformový systém na trénovanie a spúšťanie modelov umelej inteligencie Bitnet na spotrebiteľských zariadeniach, ako sú telefóny a notebooky.
• Môžu smartfóny skutočne trénovať modely umelej inteligencie?
  Áno, benchmarky spoločnosti Tether ukazujú, že modely s miliardami parametrov je možné vyladiť na zariadeniach, ako sú Samsung S25 a iPhone 16, v priebehu niekoľkých hodín.
• Prečo je to dôležité pre vývojárov v USA?
  Znižuje to závislosť od drahej cloudovej infraštruktúry a špecializovaných grafických procesorov, čím sa znižujú náklady a zvyšuje prístup k vývoju umelej inteligencie.
• Čím sa Bitnet líši od iných modelov?
  BitNet používa 1-bitovú architektúru, ktorá výrazne znižuje využitie pamäte a zvyšuje efektivitu v porovnaní s tradičnými 16-bitovými modelmi.