Trung Đào
Writer
Ngày 13/11, Nvidia công bố sản phẩm mới của mình, H200, dự kiến sẽ được ra mắt vào quý II/2024. Theo Nvidia, H200 hứa hẹn mang lại một bước đột phá về hiệu suất, đặc biệt là trong khả năng suy luận của các mô hình AI với dữ liệu lớn. Sự thử nghiệm với mô hình ngôn ngữ Llama 2 của Meta, sử dụng 70 tỷ tham số, cho thấy H200 đạt hiệu suất gần gấp đôi so với H100 - một trong những chip AI mạnh mẽ nhất hiện nay, rộng rãi sử dụng trong các ứng dụng tạo sinh AI như GPT-4 của OpenAI.
Mặc dù Nvidia không tiết lộ nhiều thông tin về dòng GPU mới, họ cho biết đã có nâng cấp đáng kể về dung lượng bộ nhớ và băng thông. H200 vẫn giữ kiến trúc Hopper như bản tiền nhiệm, nhưng sử dụng bộ nhớ HBM3e dung lượng 141 GB và băng thông 4,8 TB/s, so với H100 sử dụng bộ nhớ HBM3 80 GB và băng thông 3,35 TB/s.
Các mẫu chip mới này sẽ được tích hợp vào bo mạch Nvidia HGX với cấu hình bốn hoặc tám GPU. Hơn nữa, Nvidia cung cấp "siêu chip" GH200, kết hợp giữa H200 và CPU Grace, với tổng cộng 624GB bộ nhớ. Với cấu hình sử dụng tám GPU, HGX H200 có khả năng tính toán 32 petaflop mỗi giây, nâng cao khả năng làm việc của các hệ thống AI tạo sinh và hệ thống điện toán hiệu năng cao (HPC).
Hãng Nvidia cho biết H200 sẽ giúp giải quyết các thách thức quan trọng trong thế giới AI và HPC, đặc biệt là với khả năng xử lý lượng dữ liệu lớn hiệu quả với GPU có bộ nhớ lớn và tốc độ cao. Các đối tác đầu tiên như Amazon Web Services, Google Cloud, Microsoft Azure, và Oracle dự kiến sẽ trang bị H200 trên nền tảng điện toán đám mây của họ khi sản phẩm ra thị trường vào năm sau.
Mặc dù giá của H200 chưa được công bố, mẫu chip tiền nhiệm H100 đang hot hiện nay có giá dao động từ 25.000-40.000 USD, theo thông tin từ các công ty AI.
Các mẫu chip mới này sẽ được tích hợp vào bo mạch Nvidia HGX với cấu hình bốn hoặc tám GPU. Hơn nữa, Nvidia cung cấp "siêu chip" GH200, kết hợp giữa H200 và CPU Grace, với tổng cộng 624GB bộ nhớ. Với cấu hình sử dụng tám GPU, HGX H200 có khả năng tính toán 32 petaflop mỗi giây, nâng cao khả năng làm việc của các hệ thống AI tạo sinh và hệ thống điện toán hiệu năng cao (HPC).
Hãng Nvidia cho biết H200 sẽ giúp giải quyết các thách thức quan trọng trong thế giới AI và HPC, đặc biệt là với khả năng xử lý lượng dữ liệu lớn hiệu quả với GPU có bộ nhớ lớn và tốc độ cao. Các đối tác đầu tiên như Amazon Web Services, Google Cloud, Microsoft Azure, và Oracle dự kiến sẽ trang bị H200 trên nền tảng điện toán đám mây của họ khi sản phẩm ra thị trường vào năm sau.
Mặc dù giá của H200 chưa được công bố, mẫu chip tiền nhiệm H100 đang hot hiện nay có giá dao động từ 25.000-40.000 USD, theo thông tin từ các công ty AI.
