DeepSeek mở nguồn ba dự án liên tiếp để chứng minh hiệu quả đào tạo mô hình AI

[Phạm Thanh Bình]

DeepSeek đang tổ chức "Tuần lễ nguồn mở" kéo dài 5 ngày từ 24/2 đến 28/2, trong đó họ lần lượt mở mã nguồn 5 dự án công nghệ AI. Ba ngày đầu tiên, công ty đã công bố ba dự án quan trọng, giúp giải thích cách họ đạt được hiệu quả cao trong đào tạo mô hình ngôn ngữ lớn với chi phí thấp hơn đáng kể so với các đối thủ.

Ba dự án mã nguồn mở đầu tiên​

Ngày 1: FlashMLA​

Đây là một lõi giải mã MLA (Multi-head Latent Attention) hiệu quả cho GPU kiến trúc NVIDIA Hopper, được tối ưu hóa cho các chuỗi có độ dài thay đổi. Trên nền tảng H800 SXM5, nó có thể đạt tới 3.000 GB/s nếu bộ nhớ bị hạn chế và lên đến 580 TFLOPS nếu điện toán bị hạn chế. FlashMLA giúp giảm độ trễ và tăng thông lượng khi suy luận, đặc biệt hiệu quả cho các ứng dụng như chatbot, dịch thuật và trợ lý giọng nói.

Ngày 2: DeepEP​

Đây là thư viện truyền thông EP (Expert Parallel) mã nguồn mở đầu tiên dành cho đào tạo và suy luận mô hình MoE (Mixture of Experts). DeepEP giúp tối ưu hóa giao tiếp giữa các GPU khi làm việc với các mô hình MoE, đảm bảo dữ liệu được chuyển nhanh chóng và hiệu quả giữa các "chuyên gia" (mô hình con chuyên biệt). Giống như một trình quản lý giao thông thông minh, DeepEP gửi dữ liệu đến đúng chuyên gia vào đúng thời điểm, tránh độ trễ và cải thiện hiệu suất.

Ngày 3: DeepGEMM​

Đây là thư viện tính toán FP8 hỗ trợ các mô hình dày đặc và MoE, cung cấp hỗ trợ mạnh mẽ cho đào tạo và suy luận. DeepGEMM có những đặc điểm nổi bật sau:

• Tập trung vào Phép nhân ma trận tổng quát (GEMM) hiệu quả với FP8
• Không phụ thuộc nặng, ngắn gọn như hướng dẫn
• JIT (biên soạn đúng lúc) đầy đủ
• Logic cốt lõi chỉ khoảng 300 dòng mã
• Hiệu suất vượt trội hơn 2.7 lần so với CUTLASS 3.6 của NVIDIA
• Giải quyết vấn đề độ chính xác của FP8 bằng phương pháp tích lũy hai giai đoạn

Phản ứng và ý nghĩa​

Các dự án mã nguồn mở này đã nhanh chóng nhận được sự chú ý tích cực. Chỉ trong vòng chưa đầy 10 giờ sau khi đăng trên GitHub, DeepGEMM đã nhận được 2.600 sao, một thành công đáng kể cho một dự án mã nguồn mở.


Các dự án này cũng đã giúp DeepSeek giải quyết những hoài nghi về tuyên bố trước đó của họ về chi phí đào tạo. Trong một báo cáo kỹ thuật vào tháng 12 năm ngoái, DeepSeek đã công bố rằng mô hình V3 của họ được đào tạo trên khoảng 2.000 chiếc NVIDIA H800 với chi phí khoảng 6 triệu USD - con số thấp hơn nhiều so với các đối thủ lớn hơn. Điều này đã dẫn đến những hoài nghi từ nhiều người, bao gồm Dario Amodei (người sáng lập Anthropic) và Palmer Luckey (người sáng lập Oculus VR), với những cáo buộc rằng DeepSeek đã không trung thực về chi phí phát triển.


Tuần lễ mã nguồn mở có thể được xem như cách DeepSeek "bám vào mặt và cởi mở" để chứng minh cách họ đạt được hiệu quả cao trong đào tạo mô hình: thông qua tối ưu hóa phần cứng triệt để và các đổi mới trong kiến trúc mô hình như MoE và MLA.

Tác động đến ngành công nghiệp​

Động thái này của DeepSeek đang tạo áp lực lên các đối thủ cạnh tranh như OpenAI, công ty đã chuyển từ mã nguồn mở sang mã nguồn đóng trong những năm gần đây. Sam Altman, CEO của OpenAI, gần đây đã tổ chức một cuộc thăm dò ý kiến hỏi người hâm mộ loại dự án mã nguồn mở nào họ muốn thấy từ OpenAI, cho thấy dấu hiệu của sự thay đổi có thể có.


Trong khi đó, xAI của Elon Musk vẫn duy trì cam kết mã nguồn mở, vừa phát hành Grok 3 và thông báo sẽ mở mã nguồn Grok 2.


Một số người cũng lo ngại về tác động của những dự án mã nguồn mở này đối với NVIDIA, một trong những công ty hưởng lợi lớn nhất từ làn sóng AI. Những công cụ như DeepGEMM có thể thay đổi cách các công ty tận dụng phần cứng NVIDIA, có khả năng ảnh hưởng đến mô hình kinh doanh của họ.


Tuần lễ nguồn mở của DeepSeek không chỉ giúp minh chứng cho phương pháp tiếp cận AI hiệu quả về chi phí của họ mà còn đóng góp vào sự phát triển của cộng đồng AI nói chung, thúc đẩy tiến trình phát triển AI vì lợi ích của nhân loại.