Tether Meluncurkan Kerangka Kerja AI Bitnet untuk Ponsel Pintar, Menghilangkan Kebutuhan akan GPU Nvidia

Kerangka Kerja Tether AI Mengurangi Penggunaan VRAM Lebih dari 70%, Memperluas Komputasi Tepi

Pada hari Selasa, Tether meluncurkan kerangka kerja penyempurnaan LoRA lintas platform untuk model Bitnet Microsoft, memperkenalkan apa yang digambarkannya sebagai sistem pertama yang mampu melatih dan menjalankan model bahasa besar 1-bit di perangkat konsumen, termasuk ponsel cerdas dan laptop.

Peluncuran ini merupakan bagian dari tumpukan QVAC Fabric Tether dan dirancang untuk mengurangi tuntutan komputasi dan memori yang berat yang biasanya terkait dengan pengembangan kecerdasan buatan, yang selama ini sebagian besar terbatas pada penyedia cloud dan perangkat keras Nvidia kelas atas.

Dengan mendukung perangkat keras heterogen—termasuk chip dari Intel, AMD, dan Apple, serta GPU seluler—kerangka kerja ini memungkinkan pengembang untuk menyesuaikan model secara lokal tanpa bergantung pada infrastruktur terpusat.

Dalam praktiknya, hal ini berarti beban kerja AI yang sebelumnya hanya dapat dijalankan di pusat data kini dapat dijalankan pada perangkat yang ada di dalam tas ransel atau saku, sebuah pergeseran yang berpotensi menurunkan biaya dan memperluas akses bagi pengembang di seluruh Amerika Serikat dan secara global.
Tether menyatakan bahwa para insinyurnya berhasil mendemonstrasikan penyempurnaan model Bitnet pada GPU seluler, termasuk chip Adreno, Mali, dan Apple Bionic, menandai pencapaian pertama untuk arsitektur model 1-bit yang sedang berkembang.

Uji kinerja yang dirilis oleh perusahaan menunjukkan bahwa model dengan 125 juta parameter dapat disesuaikan dalam waktu sekitar 10 menit pada perangkat Samsung S25, sementara model dengan 1 miliar parameter menyelesaikan tugas yang sama dalam waktu sekitar 1 jam 18 menit pada perangkat keras yang sama.

Pada perangkat Apple, perusahaan melaporkan hasil serupa, dengan model berparameter 1 miliar disesuaikan dalam waktu sekitar 1 jam 45 menit pada iPhone 16, serta uji coba eksperimental yang berhasil menjalankan model hingga 13 miliar parameter secara langsung di perangkat.

Kerangka kerja ini juga menunjukkan peningkatan signifikan dalam kecepatan inferensi, dengan GPU seluler memberikan kinerja dua hingga 11 kali lipat dibandingkan CPU, menurut pengujian internal Tether.

Efisiensi memori merupakan keunggulan utama lainnya, dengan Bitnet-1B menggunakan hingga 77,8% lebih sedikit VRAM dibandingkan model 16-bit sejenis dan lebih dari 65% lebih sedikit dibandingkan arsitektur lain yang umum digunakan, sehingga memungkinkan model yang lebih besar berjalan pada perangkat dengan sumber daya terbatas.

Tether mengatakan sistem ini juga memungkinkan penyempurnaan model LoRA pada perangkat non-Nvidia untuk pertama kalinya di kategori ini, langkah yang berpotensi mengurangi ketergantungan pada chip khusus dan layanan cloud sambil tetap menyimpan data sensitif secara lokal di perangkat pengguna.

Perusahaan menambahkan bahwa pendekatan ini dapat membuat pembelajaran federasi lebih praktis dengan memungkinkan model dilatih di perangkat terdistribusi tanpa memusatkan data, sebuah bidang yang semakin diminati dalam pengembangan AI yang berfokus pada privasi.

“Dengan memungkinkan pelatihan model besar yang bermakna pada perangkat konsumen, termasuk smartphone, QVAC dari Tether membuktikan bahwa AI canggih dapat didesentralisasi, inklusif, dan memberdayakan bagi semua orang,” kata CEO Tether, Paolo Ardoino, dalam sebuah pernyataan, sambil menambahkan bahwa perusahaan berencana untuk terus berinvestasi dalam infrastruktur AI di perangkat.

Rilis teknis, termasuk tolok ukur dan detail implementasi, telah dipublikasikan melalui Hugging Face, menandakan upaya untuk menjangkau pengembang secara langsung daripada membatasi teknologi di balik sistem berpemilik.

FAQ 🔎

• Apa itu kerangka kerja AI baru Tether?
  QVAC Fabric dari Tether memperkenalkan sistem lintas platform untuk melatih dan menjalankan model AI Bitnet pada perangkat konsumen seperti ponsel dan laptop.
• Apakah ponsel pintar benar-benar dapat melatih model AI?
  Ya, benchmark Tether menunjukkan bahwa model dengan miliaran parameter dapat disempurnakan pada perangkat seperti Samsung S25 dan iPhone 16 dalam hitungan jam.
• Mengapa hal ini penting bagi pengembang di AS?
  Hal ini mengurangi ketergantungan pada infrastruktur cloud yang mahal dan GPU khusus, sehingga menurunkan biaya dan meningkatkan akses ke pengembangan AI.
• Apa yang membedakan Bitnet dari model lain?
  BitNet menggunakan arsitektur 1-bit yang secara signifikan mengurangi penggunaan memori dan meningkatkan efisiensi dibandingkan dengan model 16-bit tradisional.