Thế Việt
Writer
Cerebras, công ty chuyên về siêu máy tính, vừa công bố chip AI mới nhất của họ, Wafer Scale Engine 3 (WSE-3), có khả năng lập trình game chỉ trong hơn 2 giây.
Theo thông tin được Cerebras chia sẻ trên nền tảng X ngày 19/1, hệ thống sử dụng chip WSE-3, kết hợp với mô hình ngôn ngữ lớn (LLM) Llama 3.1 405B của Meta và dịch vụ đám mây AI Cerebras Inference, đã lập trình thành công một trò chơi cờ vua bằng ngôn ngữ Python.
Để chứng minh hiệu năng vượt trội, Cerebras đã so sánh hệ thống của mình với một hệ thống khác cũng sử dụng LLM của Meta, nhưng chạy trên dịch vụ đám mây Amazon Web Services (AWS) với GPU Nvidia. Kết quả cho thấy hệ thống của Cerebras chỉ mất hơn 2 giây để hoàn thành nhiệm vụ, trong khi hệ thống AWS cần tới gần 20 giây. Cerebras cho biết hệ thống của họ đạt tốc độ tạo 972 token mỗi giây và thời gian bắt đầu token đầu tiên là 0,24 giây, thiết lập kỷ lục thế giới mới.
Không chỉ vượt trội so với AWS, Cerebras còn khẳng định WSE-3 đánh bại các hệ thống AI hàng đầu khác từ Google, Microsoft Azure và Fireworks. Thậm chí, SambaNova, đối thủ cạnh tranh trực tiếp, cũng bị Cerebras Inference bỏ xa với tốc độ nhanh gấp 6 lần.
Thời gian tạo game chơi cờ vua của Cerebras Inference (bên trái) so với AI chạy trên đám mây của AWS
"Llama 3.1 405B trên Cerebras là mô hình nhanh nhất thế giới hiện nay, nhanh gấp 12 lần so với GPT-4o, 18 lần so với Claude 3.5 Sonnet", Cerebras chia sẻ với Tom's Hardware. "Sự kết hợp giữa phương pháp tiếp cận mở của Meta và công nghệ suy luận đột phá của Cerebras đã giúp Llama 3.1 405B chạy nhanh hơn 10 lần so với các LLM đóng hiện có."
Cerebras cũng cho biết ngay cả khi tăng kích thước truy vấn từ 1.000 token lên 100.000 token, Cerebras Inference vẫn duy trì tốc độ xử lý ở mức 539 token mỗi giây, trong khi các đối thủ chỉ đạt 49 token mỗi giây.
WSE-3, ra mắt hồi tháng 3, là nền tảng thế hệ thứ ba của Cerebras, được thiết kế để vận hành các hệ thống AI quy mô lớn như GPT-4 của OpenAI và Claude 3 Opus của Anthropic. Chip này sở hữu 4.000 tỷ bóng bán dẫn, 900.000 lõi AI, được chế tạo trên tấm bán dẫn silicon kích thước 21,5 x 21,5 cm.
WSE-3 có hiệu năng gấp đôi so với phiên bản tiền nhiệm WSE-2 (2021) nhưng tiêu thụ cùng mức điện năng. Để so sánh, Nvidia H200, một trong những chip mạnh nhất hiện nay dùng để huấn luyện mô hình AI, chỉ có 80 tỷ bóng bán dẫn, ít hơn 57 lần so với WSE-3.
Theo thông tin được Cerebras chia sẻ trên nền tảng X ngày 19/1, hệ thống sử dụng chip WSE-3, kết hợp với mô hình ngôn ngữ lớn (LLM) Llama 3.1 405B của Meta và dịch vụ đám mây AI Cerebras Inference, đã lập trình thành công một trò chơi cờ vua bằng ngôn ngữ Python.
Để chứng minh hiệu năng vượt trội, Cerebras đã so sánh hệ thống của mình với một hệ thống khác cũng sử dụng LLM của Meta, nhưng chạy trên dịch vụ đám mây Amazon Web Services (AWS) với GPU Nvidia. Kết quả cho thấy hệ thống của Cerebras chỉ mất hơn 2 giây để hoàn thành nhiệm vụ, trong khi hệ thống AWS cần tới gần 20 giây. Cerebras cho biết hệ thống của họ đạt tốc độ tạo 972 token mỗi giây và thời gian bắt đầu token đầu tiên là 0,24 giây, thiết lập kỷ lục thế giới mới.
Không chỉ vượt trội so với AWS, Cerebras còn khẳng định WSE-3 đánh bại các hệ thống AI hàng đầu khác từ Google, Microsoft Azure và Fireworks. Thậm chí, SambaNova, đối thủ cạnh tranh trực tiếp, cũng bị Cerebras Inference bỏ xa với tốc độ nhanh gấp 6 lần.
Thời gian tạo game chơi cờ vua của Cerebras Inference (bên trái) so với AI chạy trên đám mây của AWS
"Llama 3.1 405B trên Cerebras là mô hình nhanh nhất thế giới hiện nay, nhanh gấp 12 lần so với GPT-4o, 18 lần so với Claude 3.5 Sonnet", Cerebras chia sẻ với Tom's Hardware. "Sự kết hợp giữa phương pháp tiếp cận mở của Meta và công nghệ suy luận đột phá của Cerebras đã giúp Llama 3.1 405B chạy nhanh hơn 10 lần so với các LLM đóng hiện có."
Cerebras cũng cho biết ngay cả khi tăng kích thước truy vấn từ 1.000 token lên 100.000 token, Cerebras Inference vẫn duy trì tốc độ xử lý ở mức 539 token mỗi giây, trong khi các đối thủ chỉ đạt 49 token mỗi giây.
WSE-3, ra mắt hồi tháng 3, là nền tảng thế hệ thứ ba của Cerebras, được thiết kế để vận hành các hệ thống AI quy mô lớn như GPT-4 của OpenAI và Claude 3 Opus của Anthropic. Chip này sở hữu 4.000 tỷ bóng bán dẫn, 900.000 lõi AI, được chế tạo trên tấm bán dẫn silicon kích thước 21,5 x 21,5 cm.
WSE-3 có hiệu năng gấp đôi so với phiên bản tiền nhiệm WSE-2 (2021) nhưng tiêu thụ cùng mức điện năng. Để so sánh, Nvidia H200, một trong những chip mạnh nhất hiện nay dùng để huấn luyện mô hình AI, chỉ có 80 tỷ bóng bán dẫn, ít hơn 57 lần so với WSE-3.
