Keysight giới thiệu giải pháp đánh giá hiệu năng huấn luyện AI

[Sasha]

Keysight Technologies vừa giới thiệu Keysight AI (KAI) Data Centre Builder, bộ phần mềm có chức năng giả lập các ứng dụng thực tế để đánh giá tác động cải thiện hiệu năng huấn luyện AI của các thuật toán, linh kiện và giao thức mới.

Tính năng giả lập ứng dụng của KAI Data Centre Builder tích hợp mô hình ngôn ngữ lớn (LLM) và các ứng dụng huấn luyện mô hình trí tuệ nhân tạo (AI) khác vào quá trình thiết kế và xác nhận các cấu phần của hạ tầng AI - mạng, máy chủ host và các bộ tăng tốc. Giải pháp này tạo ra sự cộng lực chặt chẽ hơn giữa thiết kế phần cứng, các giao thức, kiến trúc và các thuật toán huấn luyện AI, giúp cải thiện hiệu năng hệ thống.

Các nhà khai thác AI sử dụng nhiều chiến lược xử lý song song, còn được gọi là phân vùng mô hình, để tăng tốc huấn luyện mô hình AI. Phân vùng mô hình phù hợp với topo và cấu hình cụm AI giúp nâng cao hiệu năng huấn luyện AI. Trong giai đoạn thiết kế cụm AI, các câu hỏi trọng yếu nhất nên được giải quyết thông qua thực nghiệm. Nhiều câu hỏi tập trung vào hiệu suất truyền dữ liệu giữa các bộ xử lý đồ họa (GPU). Các điểm cần lưu ý chính bao gồm:

● Thiết kế nâng cấp kết nối liên kết GPU trong máy chủ host và giá máy AI

● Thiết kế mở rộng mạng, bao gồm băng thông trên GPU và topo mạng

● Cấu hình cân bằng tải và kiểm soát tắc nghẽn trên mạng

● Tinh chỉnh các tham số của khung huấn luyện

Giải pháp giả lập ứng dụng KAI Data Centre Builder tái tạo các mẫu hình kết nối mạng của các nhiệm vụ huấn luyện AI thực tế để đẩy nhanh thử nghiệm, rút ngắn thời gian cần học để thuần thục và giúp hiểu sâu hơn về các nguyên nhân suy giảm hiệu năng, là những kết quả khó đạt được khi chỉ đơn thuần thực hiện các nhiệm vụ huấn luyện AI.

Khách hàng của Keysight có thể tiếp cận thư viện ứng dụng LLM như GPT và Llama, với một số phương thức phân vùng mô hình đã được lựa chọn như Data Parallel (DP), Fully Sharded Data Parallel (FSDP), và xử lý song song 3 chiều three-dimensional (3D) parallelism.

Theo Keysight Technologies, các nhà khai thác AI có thể sử dụng ứng dụng giả lập tải công việc trong KAI Data Center Builder để:

● Thử nghiệm các tham số xử lý song song, bao gồm kích thước phân vùng và phân bổ của các phân vùng trên hạ tầng AI khả dụng (lập lịch)

● Tìm hiểu tác động của kết nối trong và giữa các phân vùng đối với thời gian hoàn thành nhiệm vụ (JCT) tổng thể

● Xác định các hoạt động tập thể hiệu năng thấp, phân tích sâu để phát hiện các điểm tắc nghẽn

● Phân tích mức độ sử dụng mạng, độ trễ đuôi và tắc nghẽn để hiểu rõ tác động của các giá trị này tới JCT

Năng lực giả lập ứng dụng mới của KAI Data Centre Builder giúp các nhà khai thác AI, các nhà cung cấp đám mây GPU và các nhà cung cấp thiết bị cơ sở hạ tầng đưa các ứng dụng AI thực tế vào môi trường phòng thí nghiệm của họ để xác nhận các thiết kế thường xuyên thay đổi của các cụm AI và các cấu phần mới. Họ cũng có thể thử nghiệm để tinh chỉnh các phương thức, tham số và thuật toán, giúp tối ưu hóa hạ tầng và cải thiện hiệu năng ứng dụng AI.

"Khi quy mô và độ phức tạp của cơ sở hạ tầng AI đều tăng, khả năng xác nhận và tối ưu hóa toàn bộ giao thức trở thành nhu cầu thiết yếu. Để tránh chậm trễ và làm lại, cần thực hiện xác nhận ngay từ những giai đoạn đầu tiên của quá trình thiết kế và chu kỳ sản xuất. Tính năng giả lập ứng dụng của KAI Data Centre Builder đưa đến cho quá trình thiết kế linh kiện và hệ thống AI một cấp độ hiện thực mới, tối ưu hóa ứng dụng để đạt hiệu năng đỉnh cao”, Ram Periakaruppan, Phó chủ tịch kiêm Tổng giám đốc, bộ phận Giải pháp đo kiểm & an ninh mạng của Keysight, cho biết.

KAI Data Centre Builder là nền tảng của kiến trúc Keysight Artificial Intelligence (KAI), một danh mục các giải pháp toàn diện được thiết kế trợ giúp khách hàng nâng cao năng lực xử lý trí tuệ nhân tạo trong các trung tâm dữ liệu bằng cách giả lập ứng dụng AI thực tế để xác nhận các cấu phần của cụm AI.