myle.vnreview
Writer
TOPS, con số được các hãng sản xuất dùng để chỉ hiệu năng tính toán AI, vẫn là một chỉ số phức tạp cả với những hãng làm chip.
Trong gần 2 năm bùng nổ của AI vừa qua, các hãng công nghệ đã liên tục đưa ra những nền tảng mới để phục vụ nhu cầu sử dụng và đào tạo AI. Một trong những chỉ số mới được đưa ra nhiều nhất là TOPS.
Là từ viết tắt Trillion Operations Per Second hay nghìn tỷ phép tính toán mỗi giây, TOPS thường được dùng để chỉ năng lực tính toán của các bộ xử lý neural (NPU). Các hãng cũng thường công bố số TOPS cùng với vi xử lý mới của mình, ví dụ vi xử lý Lunar Lake mà Intel vừa ra mắt ở Computex có NPU đạt 48 TOPS.
Người dùng thường hiểu rằng vi xử lý có số TOPS cao hơn thì sẽ có khả năng xử lý AI mạnh hơn, tuy nhiên con số này không đơn giản như vậy. Nhiều yếu tố có thể ảnh hưởng tới con số TOPS mà hãng công bố, ví dụ như loại phép tính được dùng để đo. Chỉ số này cũng chỉ xét tới trường hợp tối ưu, trong khi trong thực tế ứng dụng AI có rất nhiều loại khác nhau.
"Kể cả những người chuyên nghiệp cũng không thích đo bằng TOPS, vì nó không thể hiện toàn bộ trải nghiệm. Bạn có thể đạt được hiệu năng cao hơn ở một NPU chỉ 30 TOPS so với NPU có 50 TOPS, vì sự khác biệt nằm ở phần mềm và tác vụ AI", ông Robert Hallock, Phó chủ tịch, Giám đốc marketing mảng khách hàng AI và kỹ thuật tại Intel chia sẻ trong một buổi trò chuyện bên lề sự kiện Computex 2024.
"Chúng tôi đang làm việc với các nhà phát triển ứng dụng đo hiệu năng để giúp phân tích hiệu năng công việc AI, mô hình AI dễ dàng hơn. Ở Intel chúng tôi cũng có nhiều phòng thí nghiệm, và chúng tôi hiểu rằng nếu hiệu năng AI là thách thức với chúng tôi, chắc chắn nó cũng là thách thức với các bạn", ông Hallock chia sẻ.
Đại diện Intel cũng nhận định hiệu năng AI sẽ tiếp tục tăng trong nhiều năm tới, tương tự cách GPU vẫn mạnh lên mỗi năm trong các năm qua. Ông Hallock cho rằng trong thời gian tới, các mô hình AI sẽ được tối ưu tốt hơn, giúp giảm dung lượng, nhờ đó hiệu năng xử lý vẫn sẽ tăng.
Trước câu hỏi của truyền thông Việt Nam về mô hình ngôn ngữ tiếng Việt và lợi ích của AI khi áp dụng vào hành chính công, ông Hallock cho rằng ứng dụng mô hình ngôn ngữ địa phương có thể phù hợp hơn là các mô hình lớn bằng tiếng Anh.
Ngoài ra, đại diện Intel cũng cho rằng lĩnh vực công có thể ứng dụng AI sớm hơn, bởi mô hình ngôn ngữ lớn (LLM) rất có lợi thế trong việc quét tài liệu và trích xuất dữ liệu. Nhờ đó, các LLM có thể được dùng để tìm, trích những phần liên quan và cần thiết nhất trong tài liệu dài hàng trăm trang.
"Mặc dù chúng ta nói về ứng dụng AI của khách hàng rất nhiều, tôi nghĩ doanh nghiệp và các tổ chức chính phủ sẽ dùng AI sớm hơn và có thể là hiệu quả hơn, bởi con người rất khó có thể làm việc với lượng dữ liệu quá lớn", ông Hallock nhận định.
Khi những vi xử lý mới được giới thiệu ra thị trường, ngoài sức mạnh tính toán, các hãng còn nhắc đến hiệu năng AI bằng chỉ số TOPS. Ảnh: TA.
Trong gần 2 năm bùng nổ của AI vừa qua, các hãng công nghệ đã liên tục đưa ra những nền tảng mới để phục vụ nhu cầu sử dụng và đào tạo AI. Một trong những chỉ số mới được đưa ra nhiều nhất là TOPS.
Là từ viết tắt Trillion Operations Per Second hay nghìn tỷ phép tính toán mỗi giây, TOPS thường được dùng để chỉ năng lực tính toán của các bộ xử lý neural (NPU). Các hãng cũng thường công bố số TOPS cùng với vi xử lý mới của mình, ví dụ vi xử lý Lunar Lake mà Intel vừa ra mắt ở Computex có NPU đạt 48 TOPS.
Người dùng thường hiểu rằng vi xử lý có số TOPS cao hơn thì sẽ có khả năng xử lý AI mạnh hơn, tuy nhiên con số này không đơn giản như vậy. Nhiều yếu tố có thể ảnh hưởng tới con số TOPS mà hãng công bố, ví dụ như loại phép tính được dùng để đo. Chỉ số này cũng chỉ xét tới trường hợp tối ưu, trong khi trong thực tế ứng dụng AI có rất nhiều loại khác nhau.
"Kể cả những người chuyên nghiệp cũng không thích đo bằng TOPS, vì nó không thể hiện toàn bộ trải nghiệm. Bạn có thể đạt được hiệu năng cao hơn ở một NPU chỉ 30 TOPS so với NPU có 50 TOPS, vì sự khác biệt nằm ở phần mềm và tác vụ AI", ông Robert Hallock, Phó chủ tịch, Giám đốc marketing mảng khách hàng AI và kỹ thuật tại Intel chia sẻ trong một buổi trò chuyện bên lề sự kiện Computex 2024.
Đại diện Intel chia sẻ về dòng chip mới và góc nhìn của Intel về AI, hiệu năng. Ảnh: TA.
Ông Hallock cho rằng mọi sản phẩm đều cần có thông số, và TOPS trở thành thông số phổ biến nhất cho NPU. Đại diện của Intel cũng chia sẻ thị trường đồ họa vài năm trước cũng trải qua "cuộc đua" về thông số TFLOPS (nghìn tỷ phép tính dấu phẩy động mỗi giây), nhưng đến nay TFLOPS ít được nhắc đến bởi đã có nhiều phần mềm đo hiệu năng thực tế hơn."Chúng tôi đang làm việc với các nhà phát triển ứng dụng đo hiệu năng để giúp phân tích hiệu năng công việc AI, mô hình AI dễ dàng hơn. Ở Intel chúng tôi cũng có nhiều phòng thí nghiệm, và chúng tôi hiểu rằng nếu hiệu năng AI là thách thức với chúng tôi, chắc chắn nó cũng là thách thức với các bạn", ông Hallock chia sẻ.
Đại diện Intel cũng nhận định hiệu năng AI sẽ tiếp tục tăng trong nhiều năm tới, tương tự cách GPU vẫn mạnh lên mỗi năm trong các năm qua. Ông Hallock cho rằng trong thời gian tới, các mô hình AI sẽ được tối ưu tốt hơn, giúp giảm dung lượng, nhờ đó hiệu năng xử lý vẫn sẽ tăng.
Trước câu hỏi của truyền thông Việt Nam về mô hình ngôn ngữ tiếng Việt và lợi ích của AI khi áp dụng vào hành chính công, ông Hallock cho rằng ứng dụng mô hình ngôn ngữ địa phương có thể phù hợp hơn là các mô hình lớn bằng tiếng Anh.
Ngoài ra, đại diện Intel cũng cho rằng lĩnh vực công có thể ứng dụng AI sớm hơn, bởi mô hình ngôn ngữ lớn (LLM) rất có lợi thế trong việc quét tài liệu và trích xuất dữ liệu. Nhờ đó, các LLM có thể được dùng để tìm, trích những phần liên quan và cần thiết nhất trong tài liệu dài hàng trăm trang.
"Mặc dù chúng ta nói về ứng dụng AI của khách hàng rất nhiều, tôi nghĩ doanh nghiệp và các tổ chức chính phủ sẽ dùng AI sớm hơn và có thể là hiệu quả hơn, bởi con người rất khó có thể làm việc với lượng dữ liệu quá lớn", ông Hallock nhận định.
