VNR Content
Pearl
Chip AI H100 "bắt buộc phải có" của Nvidia đã biến công ty này thành một doanh nghiệp trị giá hàng nghìn tỷ đô la Mỹ, có khả năng cạnh tranh với Alphabet và Amazon. Các đối thủ khác đang chật vật để theo kịp. Tuy nhiên, có vẻ như Nvidia sắp gia tăng vị thế dẫn đầu của mình với GPU mới Blackwell B200 và "siêu chip" GB200.
Nvidia tuyên bố GPU B200 mới cung cấp năng lực AI lên đến 20 petaflop với định dạng FP4, nhờ vào 208 tỷ bóng bán dẫn của nó. Ngoài ra, theo hãng, chip GB200 kết hợp hai GPU như vậy cùng một CPU Grace, mang lại hiệu suất gấp 30 lần cho tác vụ suy luận với mô hình ngôn ngữ lớn (LLM), trong khi cũng có thể tiết kiệm năng lượng hơn đáng kể. Nvidia cho biết: "GB200 giảm chi phí và mức tiêu thụ năng lượng đến 25 lần" so với H100.
GPU B200 (bên trái) và H100 (bên phải)
Trước đây, việc huấn luyện một mô hình 1,8 nghìn tỷ tham số cần đến 8.000 GPU Hopper và 15 megawatt điện. Giờ đây, CEO của Nvidia tuyên bố 2000 GPU Blackwell có thể thực hiện cùng khối lượng công việc này trong khi chỉ tiêu thụ 4 megawatt.
Trong thử nghiệm chuẩn với mô hình LLM GPT-3 175 tỷ tham số, Nvidia cho thấy GB200 đạt hiệu suất cao hơn H100 khoảng 7 lần. Hãng cũng cho biết GB200 mang lại tốc độ huấn luyện tăng gấp bốn lần.
Nvidia tiết lộ với báo chí rằng một trong những cải tiến then chốt là transformer engine thế hệ thứ hai, nhân đôi khả năng tính toán, băng thông và kích thước mô hình bằng cách sử dụng bốn bit cho mỗi nơ ron thay vì tám bit (FP4 với 20 petaflop đã đề cập trước đó). Điểm khác biệt quan trọng thứ hai phát huy tác dụng khi kết nối số lượng cực lớn các GPU này: bộ chuyển mạch NVLink thế hệ mới cho phép 576 GPU giao tiếp với nhau, với băng thông hai chiều 1,8 terabyte mỗi giây.
Điều đó đòi hỏi Nvidia phải xây dựng một chip điều khiển mạng hoàn toàn mới với 50 tỷ bóng bán dẫn, và có một số khả năng tính toán riêng lên đến 3,6 teraflop định dạng FP8.
Trước đây, Nvidia cho biết một cụm chỉ gồm 16 GPU đã dành 60% thời gian để giao tiếp với nhau và chỉ có 40% cho quá trình tính toán thực sự.
Tất nhiên, Nvidia đang đặt kỳ vọng vào việc các công ty sẽ mua các GPU này với số lượng lớn, và hãng cung cấp sản phẩm dưới dạng thiết kế lớn hơn, như GB200 NVL72, với 36 CPU và 72 GPU trong một khung duy nhất được làm mát bằng chất lỏng. GB200 NVL72 đạt tổng cộng 720 petaflop cho hiệu suất huấn luyện AI hoặc 1440 petaflop (1,4 exaflop) cho tác vụ suy luận. Thiết bị này có gần ba cây số cáp bên trong với 5.000 sợi cáp riêng lẻ.
GB200 NVL72
Mỗi khay trong khung chứa hai chip GB200 hoặc hai thiết bị chuyển mạch NVLink, với 18 GB200 và chín bộ chuyển mạch cho mỗi khung. Tổng cộng, Nvidia cho biết một trong những khung này có thể hỗ trợ một mô hình 27 nghìn tỷ tham số. Có tin đồn rằng GPT-4 sẽ có khoảng 1,7 nghìn tỷ tham số.
Công ty cho biết Amazon, Google, Microsoft và Oracle đều đã có kế hoạch cung cấp các khung NVL72 trong dịch vụ đám mây của họ, mặc dù số lượng đơn hàng chưa được tiết lộ cụ thể .
Và tất nhiên, Nvidia sẵn sàng cung cấp cho các công ty các giải pháp toàn diện khác. Ví dụ, hệ thống DGX Superpod cho DGX GB200 kết hợp tám máy chủ, tạo thành tổng thể với 288 CPU, 576 GPU, 240TB bộ nhớ và 11,5 exaflop sức mạnh tính toán FP4.
Nvidia tuyên bố các hệ thống của họ có thể mở rộng để kết nối hàng chục nghìn siêu chip GB200 với mạng 800Gbps, sử dụng công nghệ InfiniBand Quantum-X800 (tối đa 144 kết nối) hoặc ethernet Spectrum-X800 (tối đa 64 kết nối).
Trước đây, việc huấn luyện một mô hình 1,8 nghìn tỷ tham số cần đến 8.000 GPU Hopper và 15 megawatt điện. Giờ đây, CEO của Nvidia tuyên bố 2000 GPU Blackwell có thể thực hiện cùng khối lượng công việc này trong khi chỉ tiêu thụ 4 megawatt.
Trong thử nghiệm chuẩn với mô hình LLM GPT-3 175 tỷ tham số, Nvidia cho thấy GB200 đạt hiệu suất cao hơn H100 khoảng 7 lần. Hãng cũng cho biết GB200 mang lại tốc độ huấn luyện tăng gấp bốn lần.
Điều đó đòi hỏi Nvidia phải xây dựng một chip điều khiển mạng hoàn toàn mới với 50 tỷ bóng bán dẫn, và có một số khả năng tính toán riêng lên đến 3,6 teraflop định dạng FP8.
Tất nhiên, Nvidia đang đặt kỳ vọng vào việc các công ty sẽ mua các GPU này với số lượng lớn, và hãng cung cấp sản phẩm dưới dạng thiết kế lớn hơn, như GB200 NVL72, với 36 CPU và 72 GPU trong một khung duy nhất được làm mát bằng chất lỏng. GB200 NVL72 đạt tổng cộng 720 petaflop cho hiệu suất huấn luyện AI hoặc 1440 petaflop (1,4 exaflop) cho tác vụ suy luận. Thiết bị này có gần ba cây số cáp bên trong với 5.000 sợi cáp riêng lẻ.
Mỗi khay trong khung chứa hai chip GB200 hoặc hai thiết bị chuyển mạch NVLink, với 18 GB200 và chín bộ chuyển mạch cho mỗi khung. Tổng cộng, Nvidia cho biết một trong những khung này có thể hỗ trợ một mô hình 27 nghìn tỷ tham số. Có tin đồn rằng GPT-4 sẽ có khoảng 1,7 nghìn tỷ tham số.
Công ty cho biết Amazon, Google, Microsoft và Oracle đều đã có kế hoạch cung cấp các khung NVL72 trong dịch vụ đám mây của họ, mặc dù số lượng đơn hàng chưa được tiết lộ cụ thể .
Và tất nhiên, Nvidia sẵn sàng cung cấp cho các công ty các giải pháp toàn diện khác. Ví dụ, hệ thống DGX Superpod cho DGX GB200 kết hợp tám máy chủ, tạo thành tổng thể với 288 CPU, 576 GPU, 240TB bộ nhớ và 11,5 exaflop sức mạnh tính toán FP4.
