Tether wprowadza platformę Bitnet AI przeznaczoną dla smartfonów, eliminując potrzebę stosowania procesorów graficznych Nvidii

Platforma Tether AI zmniejsza zużycie pamięci VRAM o ponad 70% i rozszerza możliwości przetwarzania brzegowego

We wtorek firma Tether zaprezentowała wieloplatformową platformę do precyzyjnego dostrajania modeli LoRA dla modeli Bitnet firmy Microsoft, wprowadzając to, co określiła jako pierwszy system zdolny do szkolenia i uruchamiania 1-bitowych modeli językowych o dużej skali na urządzeniach konsumenckich, w tym smartfonach i laptopach.

Wydanie to jest częścią stosu QVAC Fabric firmy Tether i ma na celu zmniejszenie wysokich wymagań obliczeniowych i pamięciowych, które zazwyczaj wiążą się z rozwojem sztucznej inteligencji, a które dotychczas były w dużej mierze ograniczone do dostawców usług w chmurze i wysokiej klasy sprzętu Nvidii.

Dzięki obsłudze heterogenicznego sprzętu — w tym chipów firm Intel, AMD i Apple, a także mobilnych procesorów graficznych — framework pozwala programistom na lokalne dostrajanie modeli bez konieczności polegania na scentralizowanej infrastrukturze.

W praktyce oznacza to, że obciążenia związane ze sztuczną inteligencją, które kiedyś były zarezerwowane dla centrów danych, mogą teraz działać na urządzeniach znajdujących się w plecaku lub kieszeni. Jest to zmiana, która może obniżyć koszty i poszerzyć dostęp dla programistów w Stanach Zjednoczonych i na całym świecie.
Tether poinformował, że jego inżynierowie z powodzeniem zademonstrowali precyzyjne dostrajanie Bitnet na mobilnych procesorach graficznych, w tym na chipach Adreno, Mali i Apple Bionic, co stanowi pierwsze tego typu osiągnięcie dla nowej architektury modeli 1-bitowych.

Opublikowane przez firmę wyniki testów wydajności pokazują, że model o 125 milionach parametrów można dostroić w około 10 minut na urządzeniu Samsung S25, podczas gdy model o 1 miliardzie parametrów wykonuje to samo zadanie w około 1 godzinę i 18 minut na tym samym sprzęcie.

Na urządzeniach Apple firma odnotowała podobne wyniki: model o 1 miliardzie parametrów został dostrojony w około 1 godzinę i 45 minut na iPhonie 16, a w ramach eksperymentów na urządzeniu przetestowano modele o nawet 13 miliardach parametrów.

Framework wykazał również wymierny wzrost szybkości wnioskowania, przy czym mobilne procesory graficzne zapewniają od dwu- do jedenastokrotnie wyższą wydajność niż procesory centralne, zgodnie z wewnętrznymi testami porównawczymi firmy Tether.

Kolejnym kluczowym atutem jest wydajność pamięci — Bitnet-1B zużywa do 77,8% mniej pamięci VRAM niż porównywalne modele 16-bitowe i ponad 65% mniej niż inne powszechnie stosowane architektury, co umożliwia uruchamianie większych modeli na ograniczonym sprzęcie.

Tether stwierdził, że system umożliwia również po raz pierwszy w tej kategorii precyzyjne dostrajanie LoRA na sprzęcie innym niż Nvidia, co może zmniejszyć zależność od specjalistycznych chipów i usług w chmurze, jednocześnie przechowując wrażliwe dane lokalnie na urządzeniach użytkowników.

Firma dodała, że podejście to może uczynić uczenie federacyjne bardziej praktycznym, umożliwiając szkolenie modeli na rozproszonych urządzeniach bez centralizacji danych, co jest obszarem budzącym rosnące zainteresowanie w rozwoju sztucznej inteligencji zorientowanej na prywatność.

„Umożliwiając znaczące szkolenie dużych modeli na sprzęcie konsumenckim, w tym na smartfonach, QVAC firmy Tether udowadnia, że zaawansowana sztuczna inteligencja może być zdecentralizowana, inkluzywna i wzmacniająca pozycję wszystkich” – powiedział w oświadczeniu dyrektor generalny Tether, Paolo Ardoino, dodając, że firma planuje dalsze inwestycje w infrastrukturę sztucznej inteligencji na urządzeniach.

Informacja techniczna, zawierająca wyniki testów porównawczych i szczegóły wdrożenia, została opublikowana za pośrednictwem serwisu Hugging Face, co świadczy o dążeniu do bezpośredniego dotarcia do programistów, zamiast ograniczania dostępu do technologii poprzez systemy zastrzeżone.

FAQ 🔎

• Czym jest nowa platforma AI firmy Tether?
  QVAC Fabric firmy Tether to wieloplatformowy system do szkolenia i uruchamiania modeli AI Bitnet na urządzeniach konsumenckich, takich jak telefony i laptopy.
• Czy smartfony naprawdę mogą trenować modele AI?
  Tak, testy porównawcze Tether pokazują, że modele o miliardzie parametrów można precyzyjnie dostroić na urządzeniach takich jak Samsung S25 i iPhone 16 w ciągu kilku godzin.
• Dlaczego jest to ważne dla amerykańskich programistów?
  Zmniejsza to zależność od kosztownej infrastruktury chmurowej i specjalistycznych procesorów graficznych, obniżając koszty i zwiększając dostęp do rozwoju sztucznej inteligencji.
• Czym Bitnet różni się od innych modeli?
  BitNet wykorzystuje architekturę 1-bitową, która znacznie zmniejsza zużycie pamięci i poprawia wydajność w porównaniu z tradycyjnymi modelami 16-bitowymi.