Meta ra mắt Muse Glimmer dành cho các tác nhân AI cục bộ trên thiết bị cá nhân

Muse Glimmer đưa các tác nhân AI trực tiếp lên phần cứng tiêu dùng

Meta Superintelligence Labs, bộ phận nghiên cứu AI tiên tiến của công ty, đã ra mắt Muse Glimmer vào ngày 10 tháng 8 như một mô hình tác nhân có trọng số mở được thiết kế để chạy trực tiếp trên các thiết bị cá nhân, đồng thời công bố các trọng số của mô hình này theo giấy phép Apache 2.0. Trọng số mở cho phép các nhà phát triển tải xuống các tham số cơ bản của mô hình, trong khi thuật ngữ "agent" đề cập đến các hệ thống hoàn thành các tác vụ nhiều bước bằng cách sử dụng các công cụ với sự can thiệp hạn chế của con người. Mô hình này được tinh chế từ Muse Spark, mô hình đóng lớn hơn của Meta, và chạy trên máy Mac hoặc PC với một GPU tiêu dùng duy nhất.

Công ty mô tả:

"Muse Glimmer là mô hình có 30 tỷ tham số, được tối ưu hóa cho các quy trình làm việc của tác nhân cục bộ luôn hoạt động."

Muse Glimmer hoàn thành các tác vụ từ đầu đến cuối, sử dụng các công cụ phần mềm, viết mã, thực hiện nhiều bước suy luận và phục hồi khi một hành động bị thất bại. Theo Meta, mô hình này xử lý văn bản và hình ảnh, xử lý dữ liệu bao gồm hơn 100 ngôn ngữ và thể hiện hiệu suất mạnh mẽ so với các mô hình cùng cấp về kích thước như Gemma4-31B và Qwen3.6-27B trong các bài kiểm tra về tác nhân, lập trình, đa phương thức, an toàn và suy luận.

Các tác nhân AI khác với các chatbot thông thường nhờ khả năng thực hiện nhiệm vụ, sử dụng các công cụ bên ngoài và đưa ra quyết định trong các quy trình làm việc mở rộng với các mức độ tự chủ khác nhau.

Meta nén mô hình 30 tỷ tham số xuống dưới 20 GB

Việc chạy một mô hình có quy mô như Muse Glimmer trên phần cứng tiêu dùng đòi hỏi Meta phải giảm nhu cầu bộ nhớ trong khi vẫn duy trì hiệu suất trên các tác vụ do các tác nhân AI xử lý. Một mô hình 30 tỷ tham số ở độ chính xác đầy đủ sẽ vượt quá 55 GB, nhưng lượng tử hóa 4-bit, vốn lưu trữ dữ liệu mô hình ở định dạng số nhỏ gọn hơn, đã thu nhỏ mô hình ngôn ngữ xuống dưới 20 GB và giúp các thành phần của nó vừa vặn trong phạm vi 24 GB hoặc 32 GB.

Một mô hình phụ nhỏ hơn được phát hành cùng với Muse Glimmer dự đoán các đoạn văn bản tiếp theo, cho phép mô hình chính xác nhận nhiều dự đoán cùng lúc và phản hồi nhanh hơn. Kỹ thuật này, được gọi là giải mã suy đoán, đã tăng tốc độ tạo nội dung lên 3,1 lần trên RTX 5090, 1,8 lần trên M5 Max và 1,5 lần trên M4 Max trong các thử nghiệm của công ty.

Sự chuyển hướng sang các tác nhân cục bộ diễn ra trong bối cảnh Meta đang mở rộng chi tiêu và tái tổ chức các đội ngũ xung quanh các sản phẩm AI tự chủ cùng các chu kỳ phát triển nhanh hơn. Chi phí vốn cho năm 2026 dự kiến sẽ đạt từ 130 tỷ đến 145 tỷ USD, một khoảng dự báo đã được thu hẹp so với mức từ 125 tỷ đến 145 tỷ USD khi công ty công bố kết quả quý II vào ngày 29 tháng 7.

Khoảng 7.000 nhân viên đã được chuyển sang bốn tổ chức tập trung vào AI vào tháng 5, bao gồm Applied AI Engineering và nhóm Agent Transformation Accelerator, trong khi khoảng 8.000 nhân viên bị sa thải và 6.000 vị trí tuyển dụng bị đóng lại. Meta sau đó đã thông báo với các nhân viên được chuyển sang rằng họ có thể quyết định liệu có muốn ở lại hay không.

Xử lý cục bộ giúp giảm sự phụ thuộc vào việc truy cập đám mây liên tục

Việc duy trì quy trình làm việc của các tác nhân trên phần cứng cá nhân giúp tránh phải chuyển mọi yêu cầu qua các trung tâm dữ liệu từ xa, cho phép các tác vụ tiếp tục khi kết nối bị hạn chế hoặc không khả dụng. Việc thực thi tại chỗ cũng phù hợp với các trường hợp sử dụng dựa trên bối cảnh được lưu trữ như lịch trình, tin nhắn và tệp tin, trong đó mô hình hoạt động dựa trên dữ liệu cá nhân trong các phiên làm việc kéo dài.

Các tiêu chuẩn bảo mật đang trở nên ngày càng quan trọng khi phần mềm tự động được cấp quyền tương tác với tài khoản, ứng dụng và thông tin nhạy cảm. Viện Tiêu chuẩn và Công nghệ Quốc gia (NIST) đã khởi xướng Sáng kiến Tiêu chuẩn Trợ lý AI, bao gồm giao tiếp an toàn giữa các trợ lý, danh tính kỹ thuật số đáng tin cậy, kiểm soát truy cập và các tiêu chuẩn kỹ thuật chung.

Meta nhấn mạnh:

"Việc chạy các mô hình cục bộ cho phép bạn sử dụng AI ở bất cứ đâu, bất cứ lúc nào, dù có hay không có kết nối internet."

Ngoài các mô hình cục bộ, Meta đã mở rộng sang các nền tảng được xây dựng dựa trên sự tương tác giữa các tác nhân phần mềm độc lập. Vào tháng 3, công ty đã mua lại Moltbook, một mạng xã hội đại lý AI với hơn 206.000 đại lý được xác minh bởi con người trong tổng số gần 2,9 triệu tài khoản đã đăng ký tính đến tháng 6, và đưa các đồng sáng lập của Moltbook vào Meta Superintelligence Labs.

Muse Glimmer phù hợp với nỗ lực mở rộng của Meta nhằm phổ cập AI

Mark Zuckerberg, Giám đốc điều hành của Meta, đã trình bày riêng một chiến lược vào ngày 10 tháng 8 nhằm phổ biến siêu trí tuệ cá nhân trên diện rộng và cung cấp các phiên bản miễn phí cho hàng tỷ người. Trong một video trên Instagram được chia sẻ cùng ngày, Zuckerberg cho biết Meta cũng sẽ công khai các tham số (weights) của Muse Spark 1.2, đồng thời giải thích động thái này trong một bài luận dài 6.500 từ như một phản hồi đối với việc các nhà phát triển Trung Quốc công khai tham số.

Việc hỗ trợ các mô hình ngày càng mạnh mẽ vẫn đòi hỏi nguồn lực tính toán tập trung lớn cho quá trình huấn luyện, ngay cả khi mô hình hoàn thiện được chạy trực tiếp trên thiết bị của người dùng. Meta đã ký thỏa thuận 5 năm với Nebius trị giá lên đến $27 tỷ, bao gồm $12 tỷ cho dung lượng chuyên dụng và các tùy chọn mở rộng thêm $15 tỷ.

Các nhà phát triển hiện có thể tải xuống các trọng số của Muse Glimmer, trong khi hỗ trợ tối ưu hóa cho llama.cpp, MLX và ExecuTorch – các phần mềm được sử dụng để chạy các mô hình AI một cách hiệu quả trên nhiều loại phần cứng khác nhau – dự kiến sẽ được cung cấp trong những ngày tới. Meta cũng đang hợp tác với AMD, Arm, Dell, Intel và Nvidia để tối ưu hóa hiệu suất trên các thiết bị.