Hương Lan
Moderator
Trong bối cảnh trí tuệ nhân tạo bùng nổ, các hãng công nghệ liên tục giới thiệu nền tảng mới phục vụ nhu cầu sử dụng và đào tạo AI. TOPS - viết tắt của Trillion Operations Per Second (nghìn tỷ phép tính toán mỗi giây) - nổi lên như một chỉ số quan trọng, thường được dùng để đo năng lực tính toán của bộ xử lý neural (NPU).
Tuy nhiên, con số TOPS không đơn giản như vẻ ngoài của nó. Người dùng thường mặc định chip có TOPS cao hơn đồng nghĩa với khả năng xử lý AI mạnh hơn, nhưng thực tế không phải lúc nào cũng vậy.
Khi những vi xử lý mới được giới thiệu ra thị trường, ngoài sức mạnh tính toán, các hãng còn nhắc đến hiệu năng AI bằng chỉ số TOPS. Ảnh: TA.
"Ngay cả giới chuyên môn cũng không thích dùng TOPS để đo lường hiệu năng AI bởi nó không phản ánh toàn diện trải nghiệm thực tế", ông Robert Hallock, Phó chủ tịch, Giám đốc Marketing mảng khách hàng AI và kỹ thuật tại Intel, chia sẻ.
Theo ông Hallock, có nhiều yếu tố ảnh hưởng đến con số TOPS, ví dụ như loại phép tính được sử dụng để đo. Hơn nữa, TOPS chỉ phản ánh hiệu năng trong điều kiện lý tưởng, trong khi thực tế ứng dụng AI rất đa dạng.
"Bạn có thể đạt hiệu năng cao hơn ở NPU 30 TOPS so với NPU 50 TOPS, bởi sự khác biệt nằm ở phần mềm và tác vụ AI", ông Hallock dẫn chứng.
Vị đại diện Intel so sánh việc chạy theo thông số TOPS giống như "cuộc đua" TFLOPS (nghìn tỷ phép tính dấu phẩy động mỗi giây) trong thị trường đồ họa trước đây. Hiện nay, TFLOPS ít được nhắc đến do đã có nhiều phần mềm đo hiệu năng thực tế chính xác hơn.
Để giải quyết vấn đề này, Intel đang hợp tác với các nhà phát triển ứng dụng để tạo ra những công cụ đo lường hiệu năng AI hiệu quả hơn.
"Chúng tôi hiểu rằng nếu hiệu năng AI là thách thức với Intel, thì chắc chắn nó cũng là thách thức với người dùng", ông Hallock khẳng định.
Cũng theo ông Hallock, hiệu năng AI sẽ tiếp tục tăng trong tương lai nhờ sự tối ưu hóa của các mô hình AI, giúp giảm dung lượng và tăng tốc độ xử lý.
Trả lời câu hỏi về ứng dụng AI trong lĩnh vực hành chính công, ông Hallock cho rằng mô hình ngôn ngữ địa phương sẽ phù hợp hơn so với các mô hình lớn bằng tiếng Anh. Ông cũng nhận định lĩnh vực công có tiềm năng ứng dụng AI sớm nhờ lợi thế của mô hình ngôn ngữ lớn (LLM) trong việc quét và trích xuất dữ liệu từ lượng lớn tài liệu.
"Doanh nghiệp và tổ chức chính phủ có thể ứng dụng AI sớm và hiệu quả hơn, bởi con người rất khó xử lý khối lượng dữ liệu khổng lồ", ông Hallock kết luận.
Tuy nhiên, con số TOPS không đơn giản như vẻ ngoài của nó. Người dùng thường mặc định chip có TOPS cao hơn đồng nghĩa với khả năng xử lý AI mạnh hơn, nhưng thực tế không phải lúc nào cũng vậy.
Khi những vi xử lý mới được giới thiệu ra thị trường, ngoài sức mạnh tính toán, các hãng còn nhắc đến hiệu năng AI bằng chỉ số TOPS. Ảnh: TA.
"Ngay cả giới chuyên môn cũng không thích dùng TOPS để đo lường hiệu năng AI bởi nó không phản ánh toàn diện trải nghiệm thực tế", ông Robert Hallock, Phó chủ tịch, Giám đốc Marketing mảng khách hàng AI và kỹ thuật tại Intel, chia sẻ.
Theo ông Hallock, có nhiều yếu tố ảnh hưởng đến con số TOPS, ví dụ như loại phép tính được sử dụng để đo. Hơn nữa, TOPS chỉ phản ánh hiệu năng trong điều kiện lý tưởng, trong khi thực tế ứng dụng AI rất đa dạng.
"Bạn có thể đạt hiệu năng cao hơn ở NPU 30 TOPS so với NPU 50 TOPS, bởi sự khác biệt nằm ở phần mềm và tác vụ AI", ông Hallock dẫn chứng.
Vị đại diện Intel so sánh việc chạy theo thông số TOPS giống như "cuộc đua" TFLOPS (nghìn tỷ phép tính dấu phẩy động mỗi giây) trong thị trường đồ họa trước đây. Hiện nay, TFLOPS ít được nhắc đến do đã có nhiều phần mềm đo hiệu năng thực tế chính xác hơn.
Để giải quyết vấn đề này, Intel đang hợp tác với các nhà phát triển ứng dụng để tạo ra những công cụ đo lường hiệu năng AI hiệu quả hơn.
"Chúng tôi hiểu rằng nếu hiệu năng AI là thách thức với Intel, thì chắc chắn nó cũng là thách thức với người dùng", ông Hallock khẳng định.
Cũng theo ông Hallock, hiệu năng AI sẽ tiếp tục tăng trong tương lai nhờ sự tối ưu hóa của các mô hình AI, giúp giảm dung lượng và tăng tốc độ xử lý.
Trả lời câu hỏi về ứng dụng AI trong lĩnh vực hành chính công, ông Hallock cho rằng mô hình ngôn ngữ địa phương sẽ phù hợp hơn so với các mô hình lớn bằng tiếng Anh. Ông cũng nhận định lĩnh vực công có tiềm năng ứng dụng AI sớm nhờ lợi thế của mô hình ngôn ngữ lớn (LLM) trong việc quét và trích xuất dữ liệu từ lượng lớn tài liệu.
"Doanh nghiệp và tổ chức chính phủ có thể ứng dụng AI sớm và hiệu quả hơn, bởi con người rất khó xử lý khối lượng dữ liệu khổng lồ", ông Hallock kết luận.
