테더, 스마트폰용 ‘비트넷(Bitnet)’ AI 프레임워크 출시… 엔비디아 GPU 필요성 해소

테더 AI 프레임워크, VRAM 사용량 70% 이상 절감 및 엣지 컴퓨팅 확대

화요일, 테더는 마이크로소프트의 비트넷(Bitnet) 모델을 위한 크로스 플랫폼 LoRA 미세 조정 프레임워크를 공개하며, 스마트폰과 노트북을 포함한 소비자 기기에서 1비트 대형 언어 모델을 훈련하고 실행할 수 있는 최초의 시스템이라고 소개했습니다.

이번 출시 제품은 테더의 QVAC 패브릭 스택의 일부로, 주로 클라우드 제공업체와 고성능 엔비디아 하드웨어에 국한되어 온 인공지능 개발에 수반되는 막대한 연산 및 메모리 요구 사항을 줄이도록 설계되었다. 인텔, AMD, 애플의 칩은 물론 모바일 GPU를 포함한 이종 하드웨어를 지원함으로써, 이 프레임워크는 개발자가 중앙 집중식 인프라에 의존하지 않고도 로컬에서 모델을 미세 조정할 수 있게 해준다.

실질적으로 이는 과거 데이터 센터에서만 처리되던 AI 워크로드가 이제 가방이나 주머니 속 기기에서도 실행될 수 있음을 의미하며, 이러한 변화는 비용 절감과 더불어 미국 및 전 세계 개발자들의 접근성을 확대할 수 있을 것으로 보인다. 테더는 자사 엔지니어들이 아드레노(Adreno), 말리(Mali), 애플 바이오닉(Apple Bionic) 칩을 포함한 모바일 GPU에서 비트넷(Bitnet) 미세 조정을 성공적으로 시연했다고 밝혔으며, 이는 신흥 1비트 모델 아키텍처 분야에서 최초의 성과로 기록되었다.

회사가 공개한 성능 벤치마크에 따르면, 1억 2,500만 파라미터 모델은 삼성 S25 기기에서 약 10분 만에 미세 조정이 가능하며, 10억 파라미터 모델은 동일한 하드웨어에서 약 1시간 18분이 소요되는 것으로 나타났습니다.

애플 기기에서도 유사한 결과가 보고되었는데, 아이폰 16에서 10억 파라미터 모델의 미세 조정이 약 1시간 45분 만에 완료되었으며, 실험적 실행을 통해 기기 내에서 최대 130억 파라미터에 달하는 모델을 처리하기도 했다. 테더의 내부 벤치마크에 따르면, 이 프레임워크는 추론 속도에서도 가시적인 향상을 보여주었으며, 모바일 GPU는 CPU 대비 2배에서 11배에 달하는 성능을 발휘했다.

메모리 효율성도 또 다른 주요 장점입니다. Bitnet-1B는 동급 16비트 모델보다 최대 77.8%, 다른 널리 사용되는 아키텍처보다 65% 이상 적은 VRAM을 사용해, 제한된 하드웨어에서도 더 큰 모델을 실행할 수 있게 합니다.

테더는 이 시스템이 해당 분야에서 최초로 엔비디아(Nvidia) 하드웨어가 아닌 기기에서도 LoRA 미세 조정을 가능하게 한다고 밝혔으며, 이는 민감한 데이터를 사용자 기기에 로컬로 저장하는 동시에 전용 칩과 클라우드 서비스에 대한 의존도를 줄일 수 있는 조치입니다. 이 회사는 또한 이 접근 방식이 데이터를 중앙 집중화하지 않고 분산된 기기 전반에 걸쳐 모델을 훈련할 수 있게 함으로써, 프라이버시 중심 AI 개발 분야에서 관심이 높아지고 있는 연방 학습(federated learning)을 더욱 실용적으로 만들 수 있다고 덧붙였습니다.

테더의 파올로 아르도이노(Paolo Ardoino) CEO는 성명을 통해 “스마트폰을 포함한 소비자용 하드웨어에서 의미 있는 대규모 모델 훈련을 가능하게 함으로써, 테더의 QVAC은 첨단 AI가 탈중앙화되고 포용적이며 모든 사람에게 힘을 실어줄 수 있음을 입증하고 있다”고 말하며, 회사가 온디바이스 AI 인프라에 대한 지속적인 투자를 계획하고 있다고 덧붙였습니다.

벤치마크 및 구현 세부 사항을 포함한 기술 문서는 허깅 페이스(Hugging Face)를 통해 공개되었으며, 이는 독점 시스템 뒤에 기술을 가두기보다는 개발자들에게 직접 다가서려는 노력을 시사한다.

FAQ 🔎

• 테더의 새로운 AI 프레임워크란 무엇인가요? 테더의 QVAC Fabric은 스마트폰이나 노트북과 같은 소비자 기기에서 Bitnet AI 모델을 훈련하고 실행하기 위한 크로스 플랫폼 시스템을 도입합니다.
• 스마트폰으로 정말 AI 모델을 훈련할 수 있나요? 네, 테더의 벤치마크에 따르면 삼성 S25나 아이폰 16과 같은 기기에서 수십억 파라미터 규모의 모델을 몇 시간 내에 미세 조정할 수 있습니다.
• 이것이 미국 개발자들에게 왜 중요한가요? 고가의 클라우드 인프라와 특수 GPU에 대한 의존도를 줄여 비용을 절감하고 AI 개발에 대한 접근성을 높여줍니다.
• Bitnet이 다른 모델과 차별화되는 점은 무엇인가요? BitNet은 1비트 아키텍처를 사용하여 기존 16비트 모델에 비해 메모리 사용량을 대폭 줄이고 효율성을 높입니다.