Tether lancia Bitnet, un framework di intelligenza artificiale per smartphone, eliminando la necessità delle GPU Nvidia

Il framework Tether AI riduce l'utilizzo di VRAM di oltre il 70% ed espande l'edge computing

Martedì, Tether ha presentato un framework multipiattaforma di fine-tuning LoRA per i modelli Bitnet di Microsoft, introducendo quello che ha descritto come il primo sistema in grado di addestrare ed eseguire modelli linguistici di grandi dimensioni a 1 bit su dispositivi di consumo, inclusi smartphone e laptop.

Il rilascio fa parte dello stack QVAC Fabric di Tether ed è progettato per ridurre le elevate esigenze di calcolo e memoria tipicamente associate allo sviluppo dell'intelligenza artificiale, che è stato in gran parte limitato ai fornitori di servizi cloud e all'hardware Nvidia di fascia alta. Supportando hardware eterogeneo, inclusi chip di Intel, AMD e Apple, nonché GPU mobili, il framework consente agli sviluppatori di ottimizzare i modelli localmente senza fare affidamento su un'infrastruttura centralizzata.

In pratica, ciò significa che i carichi di lavoro di IA un tempo riservati ai data center possono ora essere eseguiti su dispositivi che stanno in uno zaino o in una tasca, un cambiamento che potrebbe ridurre i costi e ampliare l'accesso per gli sviluppatori negli Stati Uniti e in tutto il mondo. Tether ha affermato che i suoi ingegneri hanno dimostrato con successo la messa a punto di Bitnet su GPU mobili, inclusi i chip Adreno, Mali e Apple Bionic, segnando una prima assoluta per l'architettura emergente dei modelli a 1 bit.

I benchmark delle prestazioni pubblicati dall'azienda mostrano che un modello da 125 milioni di parametri può essere ottimizzato in circa 10 minuti su un dispositivo Samsung S25, mentre un modello da 1 miliardo di parametri completa la stessa operazione in circa 1 ora e 18 minuti sullo stesso hardware.

Sui dispositivi Apple, l'azienda ha riportato risultati simili, con un modello da 1 miliardo di parametri ottimizzato in circa 1 ora e 45 minuti su un iPhone 16, e test sperimentali che hanno portato modelli fino a 13 miliardi di parametri sul dispositivo. Il framework ha inoltre mostrato miglioramenti misurabili nella velocità di inferenza, con le GPU mobili che offrono prestazioni da due a 11 volte superiori rispetto alle CPU, secondo i benchmark interni di Tether.

L'efficienza della memoria è un altro punto di forza chiave: Bitnet-1B utilizza fino al 77,8% in meno di VRAM rispetto a modelli comparabili a 16 bit e oltre il 65% in meno rispetto ad altre architetture ampiamente utilizzate, consentendo l'esecuzione di modelli più grandi su hardware limitato.

Tether ha affermato che il sistema consente inoltre per la prima volta in questa categoria la messa a punto LoRA su hardware non Nvidia, una mossa che potrebbe ridurre la dipendenza da chip specializzati e servizi cloud, mantenendo al contempo i dati sensibili archiviati localmente sui dispositivi degli utenti. L'azienda ha aggiunto che l'approccio potrebbe rendere l'apprendimento federato più pratico, consentendo l'addestramento dei modelli su dispositivi distribuiti senza centralizzare i dati, un'area di crescente interesse nello sviluppo dell'IA incentrato sulla privacy.

Ripple si espande in modo aggressivo in Brasile e punta al dominio nel settore delle criptovalute per gli investitori istituzionali

Ripple sta accelerando una massiccia espansione nel sistema finanziario brasiliano, posizionandosi al centro dell'infrastruttura istituzionale delle criptovalute come read more.

Leggi ora

Ripple si espande in modo aggressivo in Brasile e punta al dominio nel settore delle criptovalute per gli investitori istituzionali

Ripple sta accelerando una massiccia espansione nel sistema finanziario brasiliano, posizionandosi al centro dell'infrastruttura istituzionale delle criptovalute come read more.

Leggi ora

Ripple si espande in modo aggressivo in Brasile e punta al dominio nel settore delle criptovalute per gli investitori istituzionali

Leggi ora

Ripple sta accelerando una massiccia espansione nel sistema finanziario brasiliano, posizionandosi al centro dell'infrastruttura istituzionale delle criptovalute come read more.

"Consentendo un addestramento significativo di modelli di grandi dimensioni su hardware di consumo, inclusi gli smartphone, il QVAC di Tether sta dimostrando che l'IA avanzata può essere decentralizzata, inclusiva e in grado di dare potere a tutti", ha dichiarato in un comunicato il CEO di Tether, Paolo Ardoino, aggiungendo che l'azienda prevede di continuare a investire nell'infrastruttura di IA su dispositivo.

Il comunicato tecnico, che include benchmark e dettagli di implementazione, è stato pubblicato tramite Hugging Face, a dimostrazione dell’impegno a raggiungere direttamente gli sviluppatori piuttosto che limitare la tecnologia a sistemi proprietari.

FAQ 🔎

• Qual è il nuovo framework di IA di Tether? Il QVAC Fabric di Tether introduce un sistema multipiattaforma per l'addestramento e l'esecuzione di modelli di IA Bitnet su dispositivi di consumo come telefoni e laptop.
• Gli smartphone possono davvero addestrare modelli di IA? Sì, i benchmark di Tether mostrano che modelli con miliardi di parametri possono essere ottimizzati su dispositivi come il Samsung S25 e l'iPhone 16 nel giro di poche ore.
• Perché questo è importante per gli sviluppatori statunitensi? Riduce la dipendenza da costose infrastrutture cloud e GPU specializzate, abbassando i costi e aumentando l'accesso allo sviluppo dell'IA.
• Cosa rende Bitnet diverso dagli altri modelli? BitNet utilizza un'architettura a 1 bit che riduce significativamente l'utilizzo della memoria e migliora l'efficienza rispetto ai tradizionali modelli a 16 bit.