Tại sự kiện thường niên AWS re:Invent, Amazon Web Services (AWS) vừa giới thiệu ba máy chủ ảo mới Amazon Elastic Compute Cloud (Amazon EC2) instance sử dụng ba loại chip mới do Amazon thiết kế, có khả năng cung cấp cho khách hàng hiệu năng tính toán cao (HPC) cùng chi phí thấp hơn và phù hợp với nhiều loại ứng dụng khác nhau.
Máy chủ ảo Hpc7g sử dụng chip AWSS Graviton3E mới cung cấp hiệu năng FLOPS cao gấp đôi so với các máy chủ ảo thế hệ hiện tại C6gn, và cao hơn 20% so với các máy chủ ảo Hpc6a thế hệ hiện tại, mang tới hiệu năng tốt nhất trên cùng mức giá cho các ứng dụng điện toán hiệu năng cao (HPC) trên nền tảng AWS.
Các máy chủ ảo C7gn, sử dụng card mạng mới AWS Nitro Cards, cung cấp băng thông mạng và hiệu năng xử lý gói tin-trên-giây trên một CPU cao gấp đôi so với các máy chủ ảo được tối ưu hoá cho kết nối mạng thế hệ hiện tại, cung cấp băng thông mạng cao nhất, hiệu năng tốc độ gói tin cao nhất và hiệu năng giá thành tốt nhất cho các loại tải công việc thường xuyên sử dụng mạng.
Trong khi đó, máy chủ ảo Inf2, sử dụng chip AWS Inferentia2 mới, được chế tạo chuyên biệt để chạy các mô hình học sâu lớn nhất, với tối đa 175 tỷ tham số, cung cấp băng thông cao gấp 4 lần và giảm độ trễ 10 lần so với máy chủ ảo Inf2 thế hệ hiện tại, cung cấp độ trễ thấp nhất với chi phí thấp nhất cho chức năng máy học (ML) trên Amazon EC2.
AWS đã có một thập kỷ kinh nghiệm thiết kế chip nhằm đảm bảo hiệu năng và khả năng mở rộng trên đám mây với chi phí thấp. Từ khi phát hành hệ thống AWS Nitro System năm 2013, AWS đã phát triển nhiều loại chip sáng tạo do chính AWS thiết kế, bao gồm 5 thế hệ của Nitro System, ba thế hệ chip Graviton được tối ưu hoá về hiệu năng và chi phí, dành cho nhiều loại tải công việc, hai thế hệ chip Inferentia dùng cho máy học (ML) và chip Trainium để huấn luyện.
AWS sử dụng tự động hoá thiết kế điện tử trên đám mây trong chu kỳ phát triển linh hoạt để thiết kế và xác minh các chip do AWS sáng tạo, giúp cho đội ngũ đẩy nhanh đổi mới sáng tạo và đưa sản phẩm chip tới tay khách hàng nhanh hơn. Với mỗi thế hệ chip mới, AWS cải thiện đáng kể chức năng của chip về các phương diện hiệu năng, chi phí và hiệu suất cho các máy chủ ảo Amazon EC2 sử dụng các chip này, cung cấp khách hàng nhiều lựa chọn hơn về chip và các tổ hợp chip và máy chủ ảo, được tối ưu hoá theo yêu cầu đặc thù của ứng dụng.
David Brown, Phó chủ tịch bộ phận Amazon EC2 của AWS cho biết: "Mỗi thế hệ chip do AWS thiết kế - từ Graviton tới Trainium và Inferentia và Nitro Cards - đều có hiệu năng cao hơn, chi phí thấp hơn và tiết kiệm năng lượng hơn, đáp ứng nhu cầu của nhiều loại hình tải công việc của khách hàng.”
Máy chủ ảo Hpc7g là máy chủ ảo chuyên biệt để chạy ứng dụng HPC quy mô lớn trên Amazon EC2
Các tổ chức thuộc nhiều lĩnh vực ứng dụng công nghệ HPC để giải quyết các vấn đề học thuật, khoa học và kinh doanh phức tạp nhất. Ngày nay, những khách hàng như AstraZeneca, Formula 1 và Maxar Technologies chạy các ứng dụng HPC thông thường như xử lý gien, tính toán động lực học chất lỏng (CFD) và mô phỏng dự báo thời tiết trên AWS để tận dụng các tính năng vượt trội như an ninh bảo mật, khả năng mở rộng và tính linh hoạt mà dịch vụ này cung cấp.
Các kỹ sư, nhà nghiên cứu và nhà khoa học chạy các ứng dụng HPC của mình trên các loại máy chủ ảo Amazon EC2 được tối ưu hoá cho HPC (ví dụ Hpc6a, Hpc6id, C5n, R5n, M5n và C6gn) có khả năng cung cấp năng lực tính toán gần như vô hạn và băng thông kết mạng lớn giữa các máy chủ thực hiện xử lý và trao đổi dữ liệu giữa hàng ngàn lõi xử lý. Mặc dù hiệu năng của các máy chủ này đáp ứng được nhu cầu của hầu hết các phương án sử dụng hiện tại, các ứng dụng đang dần nổi lên như trí tuệ nhân tạo (AI) và xe tự lái đòi hỏi các loại máy chủ ảo được tối ưu hoá cho HPC có khả năng mở rộng hơn nữa để giải quyết các bài toán ngày càng khó khăn và giảm chi phí của các ứng dụng HPC có thể mở rộng tới hàng chục ngàn lõi xử lý hoặc nhiều hơn.
Máy chủ ảo Hpc7g sử dụng các bộ xử lý AWS Graviton3E mới, mang lại hiệu quả giá thành cao nhất cho các ứng dụng HPC của khách hàng (chẳng hạn CFD, mô phỏng thời tiết, giải mã gien và động lực học phân tử) trên Amazon EC2. Các máy chủ ảo Hpc7g cung cấp hiệu năng FLOPS cao gấp đôi máy chủ ảo C6gn thế hệ hiện tại sử dụng các bộ xử lý Graviton2 và hiệu năng cao hơn tới 20% so với máy chủ Hpc6a thế hệ hiện tại, tạo điều kiện cho khách hàng thực hiện các phép tính toán phức tạp xuyên suốt các cụm HPC với hàng chục ngàn lõi xử lý.
Máy chủ ảo Hpc7g còn cung cấp băng thông bộ nhớ cao và băng thông mạng cao nhất trên một CPU so với tất cả các loại máy chủ ảo khác của AWS để giúp rút ngắn thời gian tính toán của các ứng dụng HPC. Khách hàng có thể sử dụng máy chủ ảo Hpc7g cùng với ParallelCluster, một công cụ quản lý cụm máy chủ mã nguồn mở, để cấp phát các máy chủ ảo Hpc7g cùng với các loại máy chủ ảo khác, giúp khách hàng có thể linh hoạt chạy các loại ứng dụng khác nhau trong cùng một cụm HPC.
Máy chủ ảo C7gn có hiệu năng tốt nhất cho các ứng dụng tiêu thụ nhiều tài nguyên mạng
Máy chủ ảo C7gn, được trang bị card mạng AWS Nitro Cards mới sử dụng chip Nitro thế hệ thứ năm với tính năng tăng tốc mạng, cung cấp băng thông mạng và hiệu năng xử lý gói tin cao nhất trong tất cả các loại máy chủ ảo được tối ưu hóa cho mạng của Amazon EC2. Card mạng Nitro Cards giảm tải và tăng tốc xử lý Input/Output cho các chức năng, từ CPU chủ cho tới phần cứng chuyên biệt để cung cấp gần như toàn bộ tài nguyên của một máy chủ ảo Amazon EC2 cho ứng dụng của khách hàng để có hiệu năng nhất quán hơn với mức độ sử dụng CPU thấp hơn.
Card mạng AWS Nitro Cards mới tạo điều kiện cho các máy chủ ảo C7gn cung cấp băng thông mạng và hiệu năng xử lý gói tin trên giây trên CPU cao hơn 2 lần, giảm độ trễ mạng qua bộ thích ứng Elastic Fabric Adapter (EFA) so với các loại máy chủ ảo được tối ưu hóa kết nối mạng thế hệ hiện tại của Amazon EC2. Máy chủ ảo C7gn có thể cung cấp hiệu năng tính toán cao hơn 25% và hiệu năng ứng dụng mã hóa nhanh hơn 2 lần so với các máy chủ ảo C6gn.
Máy chủ ảo C7gn cho phép khách hàng nâng cao cả hiệu năng, băng thông và giảm độ trễ mạng để tối ưu hóa chi phí của những ứng dụng đòi hỏi nhiều tài nguyên mạng nhất của họ trên Amazon EC2. Các máy chủ ảo C7gn hiện đang được cung cấp dưới dạng xem trước (preview).
Inf2 là máy chủ ảo chuyên dụng cho các dự án triển khai mô hình học sâu
Máy chủ ảo Inf2 sử dụng bộ xử lý Inferentia2 mới, hỗ trợ các mô hình học sâu lớn (chẳng hạn LLM, tạo hình ảnh và tự động phát hiện giọng nói) với số lượng tham số lên tới 175 tỷ , đồng thời cho chi phí suy luận thấp nhất trong Amazon EC2. Inf2 là máy chủ ảo đầu tiên được tối ưu hóa cho suy luận có thể hỗ trợ suy luận phân tán, là kỹ thuật phân tán các mô hình lớn lên nhiều bộ xử lý để mang lại hiệu năng tốt nhất cho các mô hình học sâu với hơn 100 tỷ tham số.
Máy chủ ảo Inf2 cũng là loại máy chủ ảo đầu tiên trên đám mây hỗ trợ làm tròn ngẫu nhiên, một phương pháp làm tròn thống kê có hiệu năng và độ chính xác cao hơn so với các phương pháp làm tròn trước đây. Máy chủ ảo Inf2 hỗ trợ nhiều loại hình dữ liệu, bao gồm CFP8, có khả năng cải thiện băng thông và giảm mức độ tiêu thụ năng lượng trên một đơn vị suy luận, và FP32, nhằm nâng cao hiệu năng của các mô-đun chưa có khả năng khai thác các loại dữ liệu có độ chính xác thấp. Khách hàng có thể bắt đầu từ sử dụng máy chủ ảo Inf2 với AWS Neuron, là bộ phát triển phần mềm (SDK) hợp nhất dành cho suy luận ML.
AWS Neuron được tích hợp trong các khung ML phổ biến như PyTorch và TensorFlow để giúp khách hàng nâng cấp các mô hình hiện có lên máy chủ ảo Inf2 chỉ với những thay đổi tối thiểu về mã chương trình. Do việc chia nhỏ các mô hình lớn tới nhiều bộ xử lý đòi hỏi tốc độ truyền tín hiệu cao giữa các bộ xử lý, máy chủ ảo Inf2 hỗ trợ NeuronLink, công nghệ kết nối tốc độ cao giữa các bộ xử lý, cung cấp kết nối mạch vòng với tốc độ 192 GB/s. Máy chủ ảo Inf2 cung cấp băng thông cao gấp 4 lần và độ trễ thấp hơn 10 lần so với máy chủ ảo Inf1 thế hệ hiện tại, và các máy chủ này cũng cung cấp hiệu năng trên một watt cao hơn 45% so với máy chủ ảo sử dụng GPU. Các máy chủ ảo Inf2 hiện đang được cung cấp dưới dạng preview.
Máy chủ ảo Hpc7g sử dụng chip AWSS Graviton3E mới cung cấp hiệu năng FLOPS cao gấp đôi so với các máy chủ ảo thế hệ hiện tại C6gn, và cao hơn 20% so với các máy chủ ảo Hpc6a thế hệ hiện tại, mang tới hiệu năng tốt nhất trên cùng mức giá cho các ứng dụng điện toán hiệu năng cao (HPC) trên nền tảng AWS.
Các máy chủ ảo C7gn, sử dụng card mạng mới AWS Nitro Cards, cung cấp băng thông mạng và hiệu năng xử lý gói tin-trên-giây trên một CPU cao gấp đôi so với các máy chủ ảo được tối ưu hoá cho kết nối mạng thế hệ hiện tại, cung cấp băng thông mạng cao nhất, hiệu năng tốc độ gói tin cao nhất và hiệu năng giá thành tốt nhất cho các loại tải công việc thường xuyên sử dụng mạng.
AWS đã có một thập kỷ kinh nghiệm thiết kế chip nhằm đảm bảo hiệu năng và khả năng mở rộng trên đám mây với chi phí thấp. Từ khi phát hành hệ thống AWS Nitro System năm 2013, AWS đã phát triển nhiều loại chip sáng tạo do chính AWS thiết kế, bao gồm 5 thế hệ của Nitro System, ba thế hệ chip Graviton được tối ưu hoá về hiệu năng và chi phí, dành cho nhiều loại tải công việc, hai thế hệ chip Inferentia dùng cho máy học (ML) và chip Trainium để huấn luyện.
AWS sử dụng tự động hoá thiết kế điện tử trên đám mây trong chu kỳ phát triển linh hoạt để thiết kế và xác minh các chip do AWS sáng tạo, giúp cho đội ngũ đẩy nhanh đổi mới sáng tạo và đưa sản phẩm chip tới tay khách hàng nhanh hơn. Với mỗi thế hệ chip mới, AWS cải thiện đáng kể chức năng của chip về các phương diện hiệu năng, chi phí và hiệu suất cho các máy chủ ảo Amazon EC2 sử dụng các chip này, cung cấp khách hàng nhiều lựa chọn hơn về chip và các tổ hợp chip và máy chủ ảo, được tối ưu hoá theo yêu cầu đặc thù của ứng dụng.
David Brown, Phó chủ tịch bộ phận Amazon EC2 của AWS cho biết: "Mỗi thế hệ chip do AWS thiết kế - từ Graviton tới Trainium và Inferentia và Nitro Cards - đều có hiệu năng cao hơn, chi phí thấp hơn và tiết kiệm năng lượng hơn, đáp ứng nhu cầu của nhiều loại hình tải công việc của khách hàng.”
Máy chủ ảo Hpc7g là máy chủ ảo chuyên biệt để chạy ứng dụng HPC quy mô lớn trên Amazon EC2
Các tổ chức thuộc nhiều lĩnh vực ứng dụng công nghệ HPC để giải quyết các vấn đề học thuật, khoa học và kinh doanh phức tạp nhất. Ngày nay, những khách hàng như AstraZeneca, Formula 1 và Maxar Technologies chạy các ứng dụng HPC thông thường như xử lý gien, tính toán động lực học chất lỏng (CFD) và mô phỏng dự báo thời tiết trên AWS để tận dụng các tính năng vượt trội như an ninh bảo mật, khả năng mở rộng và tính linh hoạt mà dịch vụ này cung cấp.
Các kỹ sư, nhà nghiên cứu và nhà khoa học chạy các ứng dụng HPC của mình trên các loại máy chủ ảo Amazon EC2 được tối ưu hoá cho HPC (ví dụ Hpc6a, Hpc6id, C5n, R5n, M5n và C6gn) có khả năng cung cấp năng lực tính toán gần như vô hạn và băng thông kết mạng lớn giữa các máy chủ thực hiện xử lý và trao đổi dữ liệu giữa hàng ngàn lõi xử lý. Mặc dù hiệu năng của các máy chủ này đáp ứng được nhu cầu của hầu hết các phương án sử dụng hiện tại, các ứng dụng đang dần nổi lên như trí tuệ nhân tạo (AI) và xe tự lái đòi hỏi các loại máy chủ ảo được tối ưu hoá cho HPC có khả năng mở rộng hơn nữa để giải quyết các bài toán ngày càng khó khăn và giảm chi phí của các ứng dụng HPC có thể mở rộng tới hàng chục ngàn lõi xử lý hoặc nhiều hơn.
Máy chủ ảo Hpc7g sử dụng các bộ xử lý AWS Graviton3E mới, mang lại hiệu quả giá thành cao nhất cho các ứng dụng HPC của khách hàng (chẳng hạn CFD, mô phỏng thời tiết, giải mã gien và động lực học phân tử) trên Amazon EC2. Các máy chủ ảo Hpc7g cung cấp hiệu năng FLOPS cao gấp đôi máy chủ ảo C6gn thế hệ hiện tại sử dụng các bộ xử lý Graviton2 và hiệu năng cao hơn tới 20% so với máy chủ Hpc6a thế hệ hiện tại, tạo điều kiện cho khách hàng thực hiện các phép tính toán phức tạp xuyên suốt các cụm HPC với hàng chục ngàn lõi xử lý.
Máy chủ ảo Hpc7g còn cung cấp băng thông bộ nhớ cao và băng thông mạng cao nhất trên một CPU so với tất cả các loại máy chủ ảo khác của AWS để giúp rút ngắn thời gian tính toán của các ứng dụng HPC. Khách hàng có thể sử dụng máy chủ ảo Hpc7g cùng với ParallelCluster, một công cụ quản lý cụm máy chủ mã nguồn mở, để cấp phát các máy chủ ảo Hpc7g cùng với các loại máy chủ ảo khác, giúp khách hàng có thể linh hoạt chạy các loại ứng dụng khác nhau trong cùng một cụm HPC.
Máy chủ ảo C7gn có hiệu năng tốt nhất cho các ứng dụng tiêu thụ nhiều tài nguyên mạng
Card mạng AWS Nitro Cards mới tạo điều kiện cho các máy chủ ảo C7gn cung cấp băng thông mạng và hiệu năng xử lý gói tin trên giây trên CPU cao hơn 2 lần, giảm độ trễ mạng qua bộ thích ứng Elastic Fabric Adapter (EFA) so với các loại máy chủ ảo được tối ưu hóa kết nối mạng thế hệ hiện tại của Amazon EC2. Máy chủ ảo C7gn có thể cung cấp hiệu năng tính toán cao hơn 25% và hiệu năng ứng dụng mã hóa nhanh hơn 2 lần so với các máy chủ ảo C6gn.
Máy chủ ảo C7gn cho phép khách hàng nâng cao cả hiệu năng, băng thông và giảm độ trễ mạng để tối ưu hóa chi phí của những ứng dụng đòi hỏi nhiều tài nguyên mạng nhất của họ trên Amazon EC2. Các máy chủ ảo C7gn hiện đang được cung cấp dưới dạng xem trước (preview).
Inf2 là máy chủ ảo chuyên dụng cho các dự án triển khai mô hình học sâu
Máy chủ ảo Inf2 sử dụng bộ xử lý Inferentia2 mới, hỗ trợ các mô hình học sâu lớn (chẳng hạn LLM, tạo hình ảnh và tự động phát hiện giọng nói) với số lượng tham số lên tới 175 tỷ , đồng thời cho chi phí suy luận thấp nhất trong Amazon EC2. Inf2 là máy chủ ảo đầu tiên được tối ưu hóa cho suy luận có thể hỗ trợ suy luận phân tán, là kỹ thuật phân tán các mô hình lớn lên nhiều bộ xử lý để mang lại hiệu năng tốt nhất cho các mô hình học sâu với hơn 100 tỷ tham số.
AWS Neuron được tích hợp trong các khung ML phổ biến như PyTorch và TensorFlow để giúp khách hàng nâng cấp các mô hình hiện có lên máy chủ ảo Inf2 chỉ với những thay đổi tối thiểu về mã chương trình. Do việc chia nhỏ các mô hình lớn tới nhiều bộ xử lý đòi hỏi tốc độ truyền tín hiệu cao giữa các bộ xử lý, máy chủ ảo Inf2 hỗ trợ NeuronLink, công nghệ kết nối tốc độ cao giữa các bộ xử lý, cung cấp kết nối mạch vòng với tốc độ 192 GB/s. Máy chủ ảo Inf2 cung cấp băng thông cao gấp 4 lần và độ trễ thấp hơn 10 lần so với máy chủ ảo Inf1 thế hệ hiện tại, và các máy chủ này cũng cung cấp hiệu năng trên một watt cao hơn 45% so với máy chủ ảo sử dụng GPU. Các máy chủ ảo Inf2 hiện đang được cung cấp dưới dạng preview.
