Tether запускає платформу Bitnet AI для смартфонів, що усуває необхідність у графічних процесорах Nvidia

Платформа Tether AI скорочує використання VRAM на понад 70% та розширює можливості периферійних обчислень

У вівторок Tether представив кросплатформну платформу для тонкого налаштування LoRA для моделей Bitnet від Microsoft, представивши те, що він описав як першу систему, здатну навчати та запускати 1-бітні великі мовні моделі на споживчих пристроях, включаючи смартфони та ноутбуки.

Цей реліз є частиною стеку QVAC Fabric від Tether і призначений для зменшення значних обчислювальних потужностей та вимог до пам'яті, що зазвичай пов'язані з розробкою штучного інтелекту, яка значною мірою обмежувалася хмарними провайдерами та висококласним обладнанням Nvidia.

Завдяки підтримці гетерогенного обладнання — включаючи чіпи від Intel, AMD та Apple, а також мобільні графічні процесори — фреймворк дозволяє розробникам налаштовувати моделі локально, не покладаючись на централізовану інфраструктуру.

На практиці це означає, що робочі навантаження ШІ, які раніше були доступні лише для центрів обробки даних, тепер можуть виконуватися на пристроях, що знаходяться у рюкзаку чи кишені — така зміна може знизити витрати та розширити доступ для розробників у США та в усьому світі.
Tether повідомила, що її інженери успішно продемонстрували налаштування Bitnet на мобільних графічних процесорах, зокрема на чіпах Adreno, Mali та Apple Bionic, що стало першим досягненням для нової архітектури 1-бітних моделей.

Опубліковані компанією тести продуктивності показують, що модель із 125 мільйонами параметрів можна налаштувати приблизно за 10 хвилин на пристрої Samsung S25, тоді як модель із 1 мільярдом параметрів виконує те саме завдання приблизно за 1 годину та 18 хвилин на тому самому обладнанні.

На пристроях Apple компанія повідомила про подібні результати: модель з 1 мільярдом параметрів була налаштована приблизно за 1 годину та 45 хвилин на iPhone 16, а експериментальні запуски дозволили налаштувати на пристрої моделі з параметрами до 13 мільярдів.

Ця платформа також продемонструвала помітне підвищення швидкості інференції: згідно з внутрішніми тестами Tether, мобільні графічні процесори забезпечують у 2–11 разів вищу продуктивність, ніж центральні процесори.

Ефективність використання пам'яті є ще однією ключовою перевагою: Bitnet-1B використовує на 77,8% менше VRAM, ніж аналогічні 16-бітні моделі, і на понад 65% менше, ніж інші широко використовувані архітектури, що дозволяє запускати більші моделі на обмеженому апаратному забезпеченні.

Tether зазначив, що система також вперше в цій категорії дозволяє проводити точне налаштування LoRA на апаратному забезпеченні, відмінному від Nvidia, що може зменшити залежність від спеціалізованих чіпів та хмарних сервісів, зберігаючи при цьому конфіденційні дані локально на пристроях користувачів.
Компанія додала, що такий підхід може зробити федеративне навчання більш практичним, дозволяючи навчати моделі на розподілених пристроях без централізації даних — це сфера, яка викликає дедалі більший інтерес у розробці штучного інтелекту, орієнтованого на конфіденційність.

«Забезпечуючи можливість ефективного навчання великих моделей на споживчому обладнанні, включаючи смартфони, QVAC від Tether доводить, що передовий ШІ може бути децентралізованим, інклюзивним та надавати можливості кожному», — заявив генеральний директор Tether Паоло Ардоіно, додавши, що компанія планує продовжувати інвестувати в інфраструктуру ШІ на пристроях.

Технічний реліз, що включає тести продуктивності та деталі впровадження, було опубліковано через Hugging Face, що свідчить про прагнення звернутися безпосередньо до розробників, а не обмежувати доступ до технології за допомогою пропрієтарних систем.

FAQ 🔎

• Що таке нова платформа штучного інтелекту від Tether?
  QVAC Fabric від Tether представляє кросплатформну систему для навчання та запуску моделей штучного інтелекту Bitnet на споживчих пристроях, таких як телефони та ноутбуки.
• Чи справді смартфони можуть навчати моделі штучного інтелекту?
  Так, тести Tether показують, що моделі з мільярдами параметрів можна налаштувати на таких пристроях, як Samsung S25 та iPhone 16, за лічені години.
• Чому це важливо для розробників у США?
  Це зменшує залежність від дорогої хмарної інфраструктури та спеціалізованих графічних процесорів, знижуючи витрати та розширюючи доступ до розробки штучного інтелекту.
• Чим Bitnet відрізняється від інших моделей?
  BitNet використовує 1-бітну архітектуру, яка значно зменшує використання пам'яті та підвищує ефективність порівняно з традиційними 16-бітними моделями.