Sóng AI
Writer
Microsoft vừa công bố BitNet b1.58 2B4T, mô hình AI nén 1-bit lớn nhất từng được phát triển với 2 tỷ tham số.
BitNet b1.58 2B4T mã nguồn mở theo giấy phép MIT, cho phép mọi người truy cập và sử dụng miễn phí.
BitNet là AI nén đặc biệt khi trọng số chỉ nhận giá trị -1, 0, 1, giúp giảm mạnh nhu cầu bộ nhớ và tăng tốc độ tính toán.
Mô hình được huấn luyện trên 4 tỷ tokens (tương đương khoảng 33.000.000 cuốn sách), vượt trội về quy mô so với nhiều mô hình hiện nay.
BitNet b1.58 2B4T có thể chạy trên CPU phổ thông như Apple M2, không cần GPU, điều mà hầu hết AI lớn hiện nay không làm được.
Trong kiểm thử, BitNet b1.58 2B4T vượt qua các đối thủ 2 tỷ tham số như Meta Llama 3.2 1B, Google Gemma 3 1B, Alibaba Qwen 2.5 1.5B ở các bài toán GSM8K (toán tiểu học) và PIQA (suy luận vật lý thông thường).
Tốc độ xử lý của BitNet b1.58 2B4T nhanh gấp 2 lần so với các mô hình cùng quy mô, sử dụng ít bộ nhớ hơn đáng kể.
Mô hình cần framework riêng bitnet.cpp của Microsoft để khai thác tối ưu hiệu suất, hiện chỉ hỗ trợ một số CPU nhất định.
BitNet b1.58 2B4T chưa hỗ trợ GPU, trong khi GPU vẫn là nền tảng chính của hạ tầng AI hiện tại.
Dù còn hạn chế về khả năng tương thích, BitNet mở ra triển vọng lớn cho AI chạy trên thiết bị tài nguyên thấp, phục vụ nhiều ứng dụng mới.
Microsoft ra mắt BitNet b1.58 2B4T với 2 tỷ tham số, chạy nhanh gấp đôi các mô hình AI cùng loại trên CPU phổ thông, vượt qua các đối thủ lớn ở nhiều bài kiểm tra, mã nguồn mở, nhưng hiện chỉ hỗ trợ một số CPU, chưa tương thích GPU – hứa hẹn thay đổi cuộc chơi AI tiết kiệm tài nguyên.Nguồn: Songai.vn
