Tether 推出面向智能手机的 Bitnet AI 框架，无需依赖英伟达 GPU

Tether AI 框架将 VRAM 占用量降低 70% 以上，拓展边缘计算

周二，Tether 发布了一个适用于微软 Bitnet 模型的跨平台 LoRA 微调框架，称其为首个能够在包括智能手机和笔记本电脑在内的消费级设备上训练和运行 1-bit 大型语言模型的系统。

该发布是 Tether QVAC Fabric 技术栈的一部分，旨在降低人工智能开发通常伴随的高计算和内存需求——此前这类开发主要局限于云服务提供商和高端英伟达硬件。 通过支持异构硬件（包括英特尔、AMD 和苹果的芯片，以及移动 GPU），该框架使开发者能够本地微调模型，而无需依赖集中式基础设施。

实际上，这意味着过去只能在数据中心运行的 AI 工作负载，如今可以在背包或口袋中的设备上运行。这一转变有望降低成本，并为美国乃至全球的开发者拓宽应用渠道。Tether 表示，其工程师已成功在包括 Adreno、Mali 和 Apple Bionic 芯片在内的移动 GPU 上演示了 Bitnet 的微调功能，这标志着这种新兴的 1 位模型架构实现了首次突破。

该公司发布的性能基准测试显示，在三星 S25 设备上，一个拥有 1.25 亿参数的模型可在约 10 分钟内完成微调，而一个拥有 10 亿参数的模型在相同硬件上完成同一任务则需约 1 小时 18 分钟。

在苹果设备上，该公司报告了类似的结果：在 iPhone 16 上，一个 10 亿参数的模型在约 1 小时 45 分钟内完成微调，实验运行中甚至实现了在设备上对高达 130 亿参数模型的微调。 根据 Tether 的内部基准测试，该框架在推理速度方面也取得了显著提升，移动 GPU 的性能是 CPU 的 2 到 11 倍。

内存效率是另一大亮点：Bitnet-1B的VRAM消耗比同类16位模型减少高达77.8%，比其他广泛使用的架构减少超过65%，从而使大型模型能够在硬件资源有限的设备上运行。

Tether 表示，该系统还首次实现了在非英伟达硬件上进行 LoRA 微调，这一举措既能减少对专用芯片和云服务的依赖，又能将敏感数据保存在用户设备的本地。 该公司补充道，这种方法通过允许模型在分布式设备上进行训练而无需集中数据，从而使联合学习更具实用性，这在注重隐私的 AI 开发领域正受到越来越多的关注。

“通过在包括智能手机在内的消费级硬件上实现有意义的大模型训练，Tether的QVAC证明了先进的人工智能可以是去中心化的、包容的，并能赋能每个人，”Tether首席执行官Paolo Ardoino在声明中表示，并补充说公司计划继续投资于设备端AI基础设施。

包含基准测试和实现细节的技术报告已通过 Hugging Face 发布，这表明该公司致力于直接触达开发者，而非将技术封锁在专有系统之中。

常见问题 🔎

• Tether的新AI框架是什么？ Tether的QVAC Fabric推出了一套跨平台系统，可在手机和笔记本电脑等消费级设备上训练和运行Bitnet AI模型。
• 智能手机真的能训练AI模型吗？是的，Tether的基准测试显示，在三星S25和iPhone 16等设备上，仅需数小时即可对数十亿参数的模型进行微调。
• 这对美国开发者为何重要？ 这减少了对昂贵云基础设施和专用 GPU 的依赖，从而降低成本并扩大了 AI 开发的可及性。
• Bitnet 与其他模型有何不同？ Bitnet 采用 1 位架构，与传统的 16 位模型相比，可显著减少内存占用并提高效率。