Tether запускает платформу Bitnet AI для смартфонов, устраняя необходимость в использовании графических процессоров Nvidia

Платформа Tether AI сокращает использование VRAM более чем на 70% и расширяет возможности периферийных вычислений

Во вторник Tether представила кроссплатформенную платформу LoRA для тонкой настройки моделей Microsoft Bitnet, назвав ее первой системой, способной обучать и запускать 1-битные большие языковые модели на потребительских устройствах, включая смартфоны и ноутбуки.

Этот релиз является частью стека QVAC Fabric от Tether и предназначен для снижения высоких требований к вычислительной мощности и памяти, обычно связанных с разработкой искусственного интеллекта, которая в основном ограничивалась облачными провайдерами и высокопроизводительным оборудованием Nvidia.

Благодаря поддержке разнородного оборудования — включая чипы Intel, AMD и Apple, а также мобильные графические процессоры — эта платформа позволяет разработчикам настраивать модели локально, не полагаясь на централизованную инфраструктуру.

На практике это означает, что рабочие нагрузки ИИ, ранее доступные только в дата-центрах, теперь могут выполняться на устройствах, которые помещаются в рюкзаке или кармане — это изменение может снизить затраты и расширить доступ для разработчиков в США и во всем мире.

Tether сообщила, что ее инженеры успешно продемонстрировали настройку Bitnet на мобильных графических процессорах, включая чипы Adreno, Mali и Apple Bionic, что стало первым достижением для развивающейся архитектуры 1-битных моделей.

Опубликованные компанией тесты производительности показывают, что модель с 125 миллионами параметров может быть отлажена примерно за 10 минут на устройстве Samsung S25, в то время как модель с 1 миллиардом параметров выполняет ту же задачу примерно за 1 час 18 минут на том же оборудовании.

На устройствах Apple компания сообщила о схожих результатах: модель с 1 миллиардом параметров была отлажена примерно за 1 час 45 минут на iPhone 16, а в ходе экспериментальных запусков на устройстве удалось обработать модели с количеством параметров до 13 миллиардов.

Согласно внутренним тестам Tether, эта платформа также продемонстрировала заметное повышение скорости инференса: мобильные графические процессоры обеспечивают производительность, в 2–11 раз превышающую производительность центральных процессоров.

Эффективность использования памяти — еще одно ключевое преимущество: Bitnet-1B потребляет на 77,8% меньше VRAM, чем сопоставимые 16-битные модели, и более чем на 65% меньше, чем другие широко используемые архитектуры, что позволяет запускать более крупные модели на ограниченном аппаратном обеспечении.

Tether сообщила, что система также впервые в этой категории позволяет осуществлять тонкую настройку LoRA на аппаратном обеспечении, отличном от Nvidia, что может снизить зависимость от специализированных чипов и облачных сервисов, сохраняя при этом конфиденциальные данные локально на устройствах пользователей.

Компания добавила, что такой подход может сделать федеративное обучение более практичным, позволяя обучать модели на распределенных устройствах без централизации данных — это область, вызывающая растущий интерес в сфере разработки ИИ с акцентом на конфиденциальность.

«Обеспечивая возможность полноценного обучения больших моделей на потребительском оборудовании, включая смартфоны, QVAC от Tether доказывает, что передовой ИИ может быть децентрализованным, инклюзивным и дающим возможности каждому», — заявил генеральный директор Tether Паоло Ардоино в своем заявлении, добавив, что компания планирует продолжать инвестировать в инфраструктуру ИИ на устройствах.

Технический релиз, включая тесты производительности и детали реализации, был опубликован через Hugging Face, что свидетельствует о стремлении напрямую обратиться к разработчикам, а не ограничивать доступ к технологии за счет проприетарных систем.

Часто задаваемые вопросы 🔎

• Что представляет собой новая платформа ИИ от Tether?
  QVAC Fabric от Tether представляет собой кроссплатформенную систему для обучения и запуска моделей ИИ Bitnet на потребительских устройствах, таких как телефоны и ноутбуки.
• Могут ли смартфоны действительно обучать модели ИИ?
  Да, тесты Tether показывают, что модели с миллиардами параметров можно настроить на таких устройствах, как Samsung S25 и iPhone 16, за считанные часы.
• Почему это важно для разработчиков из США?
  Это снижает зависимость от дорогостоящей облачной инфраструктуры и специализированных графических процессоров, сокращая затраты и расширяя доступ к разработке ИИ.
• Чем Bitnet отличается от других моделей?
  BitNet использует 1-битную архитектуру, которая значительно сокращает использование памяти и повышает эффективность по сравнению с традиционными 16-битными моделями.