Tether ra mắt khung công nghệ AI Bitnet dành cho điện thoại thông minh, giúp loại bỏ sự phụ thuộc vào GPU của Nvidia

Khung công nghệ Tether AI giảm hơn 70% dung lượng VRAM, mở rộng tính toán biên

Vào thứ Ba, Tether đã công bố một khung công nghệ tinh chỉnh LoRA đa nền tảng dành cho các mô hình Bitnet của Microsoft, giới thiệu hệ thống mà họ mô tả là hệ thống đầu tiên có khả năng huấn luyện và chạy các mô hình ngôn ngữ lớn 1-bit trên các thiết bị tiêu dùng, bao gồm điện thoại thông minh và máy tính xách tay.

Sản phẩm này là một phần của bộ công cụ QVAC Fabric của Tether và được thiết kế để giảm bớt nhu cầu tính toán và bộ nhớ nặng nề thường đi kèm với phát triển trí tuệ nhân tạo, vốn chủ yếu bị giới hạn trong các nhà cung cấp đám mây và phần cứng Nvidia cao cấp.

Bằng cách hỗ trợ phần cứng đa dạng — bao gồm chip từ Intel, AMD và Apple, cũng như GPU di động — khung công tác này cho phép các nhà phát triển tinh chỉnh mô hình tại chỗ mà không cần dựa vào cơ sở hạ tầng tập trung.

Trên thực tế, điều này có nghĩa là các tác vụ AI từng chỉ dành cho trung tâm dữ liệu nay có thể chạy trên các thiết bị nằm trong balo hoặc túi quần, một sự thay đổi có thể giúp giảm chi phí và mở rộng khả năng tiếp cận cho các nhà phát triển trên toàn Hoa Kỳ và toàn cầu.

Tether cho biết các kỹ sư của họ đã thành công trong việc trình diễn việc tinh chỉnh Bitnet trên các GPU di động, bao gồm chip Adreno, Mali và Apple Bionic, đánh dấu một cột mốc đầu tiên cho kiến trúc mô hình 1-bit đang phát triển.

Các số liệu hiệu năng do công ty công bố cho thấy một mô hình có 125 triệu tham số có thể được tinh chỉnh trong khoảng 10 phút trên thiết bị Samsung S25, trong khi mô hình có 1 tỷ tham số hoàn thành cùng tác vụ trong khoảng 1 giờ 18 phút trên cùng phần cứng.

Trên các thiết bị Apple, công ty báo cáo kết quả tương tự, với mô hình 1 tỷ tham số được tinh chỉnh trong khoảng 1 giờ 45 phút trên iPhone 16, và các thử nghiệm ban đầu đã đẩy mô hình lên đến 13 tỷ tham số ngay trên thiết bị.

Khung công tác này cũng cho thấy sự cải thiện đáng kể về tốc độ suy luận, với GPU di động mang lại hiệu suất cao gấp 2 đến 11 lần so với CPU, theo các bài kiểm tra nội bộ của Tether.

Hiệu quả bộ nhớ là một điểm mạnh khác, với Bitnet-1B sử dụng ít hơn tới 77,8% VRAM so với các mô hình 16-bit tương đương và hơn 65% so với các kiến trúc phổ biến khác, cho phép các mô hình lớn hơn chạy trên phần cứng hạn chế.

Tether cho biết hệ thống này cũng lần đầu tiên cho phép tinh chỉnh LoRA trên phần cứng không phải Nvidia trong phân khúc này, một bước đi có thể giảm sự phụ thuộc vào chip chuyên dụng và dịch vụ đám mây đồng thời giữ dữ liệu nhạy cảm được lưu trữ cục bộ trên thiết bị người dùng.

Công ty cho biết thêm rằng phương pháp này có thể làm cho học tập liên kết trở nên thực tiễn hơn bằng cách cho phép các mô hình được huấn luyện trên các thiết bị phân tán mà không cần tập trung dữ liệu, một lĩnh vực đang thu hút sự quan tâm ngày càng tăng trong phát triển AI chú trọng quyền riêng tư.

“Bằng cách cho phép đào tạo mô hình lớn một cách có ý nghĩa trên phần cứng tiêu dùng, bao gồm cả điện thoại thông minh, QVAC của Tether đang chứng minh rằng AI tiên tiến có thể được phi tập trung hóa, mang tính bao trùm và trao quyền cho mọi người,” CEO Paolo Ardoino của Tether cho biết trong một tuyên bố, đồng thời cho biết công ty có kế hoạch tiếp tục đầu tư vào cơ sở hạ tầng AI trên thiết bị.

Bản phát hành kỹ thuật, bao gồm các điểm chuẩn và chi tiết triển khai, đã được công bố qua Hugging Face, thể hiện nỗ lực tiếp cận trực tiếp các nhà phát triển thay vì giới hạn công nghệ này trong các hệ thống độc quyền.

Câu hỏi thường gặp 🔎

• Khung AI mới của Tether là gì?
  QVAC Fabric của Tether giới thiệu một hệ thống đa nền tảng để huấn luyện và chạy các mô hình AI Bitnet trên các thiết bị tiêu dùng như điện thoại và máy tính xách tay.
• Điện thoại thông minh có thực sự có thể huấn luyện các mô hình AI không?
  Có, các điểm chuẩn của Tether cho thấy các mô hình có hàng tỷ tham số có thể được tinh chỉnh trên các thiết bị như Samsung S25 và iPhone 16 trong vòng vài giờ.
• Tại sao điều này lại quan trọng đối với các nhà phát triển ở Mỹ?
  Điều này giúp giảm sự phụ thuộc vào cơ sở hạ tầng đám mây đắt tiền và GPU chuyên dụng, từ đó giảm chi phí và tăng khả năng tiếp cận phát triển AI.
• Điều gì khiến Bitnet khác biệt so với các mô hình khác?
  BitNet sử dụng kiến trúc 1-bit giúp giảm đáng kể việc sử dụng bộ nhớ và cải thiện hiệu quả so với các mô hình 16-bit truyền thống.