myle.vnreview
Writer
Trung tâm Nghiên cứu AI của Trường Đại học VinUni vừa chính thức giới thiệu V-Bench, bộ công cụ có thể đánh giá toàn diện năng lực Tiếng Việt của các mô hình ngôn ngữ lớn (LLM - Large Language Model).
Theo VinUni, bộ công cụ V-Bench có sự tham gia cộng tác phi lợi nhuận của 18 chuyên gia người Việt đầu ngành AI trong và ngoài nước. Bộ công cụ này có thể đánh giá năng lực Tiếng Việt của các mô hình ngôn ngữ lớn dựa trên bộ dữ liệu chuyên sâu hơn 40.000 câu hỏi và tác vụ bao phủ nhiều lĩnh vực và phản ánh đầy đủ các yếu tố về văn hóa, ngôn ngữ, chủ quyền, an toàn thông tin và đặc thù địa phương.
V-Bench chia bộ công cụ theo 2 hạng mục lớn với 5 nhóm đánh giá chuyên biệt, bao gồm: Văn hóa ngầm định - đánh giá khả năng thấu hiểu các tầng nghĩa văn hóa ẩn sâu trong ngôn ngữ Việt như phong tục, tín ngưỡng, lịch sử; Đa dạng vùng miền - kiểm tra hiểu biết về phương ngữ Bắc - Trung - Nam, cách xưng hô và văn phong đặc trưng từng vùng; An toàn và chủ quyền số - đảm bảo tuân thủ các nguyên tắc an toàn thông tin quốc gia, chống thông tin sai lệch và bảo vệ chủ quyền số Việt Nam; Ứng dụng thực tiễn - đánh giá hiệu quả trong giáo dục, y tế cộng đồng và các lĩnh vực ứng dụng cụ thể của Việt Nam; Năng lực agentic AI - đánh giá khả năng lập kế hoạch, sử dụng công cụ, RAG và hành động tự chủ trong môi trường Việt Nam.
Nhờ đó, V-Bench không chỉ đo lường khả năng trả lời câu hỏi mang tính học thuật, mà còn đánh giá sự thấu hiểu văn hóa, ngôn ngữ vùng miền và khả năng hành động của AI trong bối cảnh Việt Nam, từ đó cho ra kết quả khách quan, toàn diện, sát với thực tế, có tính tham chiếu và giá trị định hướng cao cho cộng đồng. Đặc biệt, kết quả đánh giá bởi V-Bench được bảo chứng bởi hội đồng chuyên gia uy tín cùng phương pháp luận nghiêm ngặt và bộ dữ liệu có quy mô đồ sộ, khoa học, công phu nhất hiện nay.
Được xây dựng theo các kỹ thuật tương đồng và phổ biến trong nghiên cứu LLM quốc tế, V-Bench cũng có khả năng tương thích cao về thuật ngữ và quy trình với hệ sinh thái benchmark quốc tế, giúp các nhà phát triển LLM toàn cầu có thể tham gia đánh giá mà không gặp rào cản về quy ước kỹ thuật.
“Với bộ dữ liệu toàn diện cùng sự góp sức hoàn toàn khách quan, phi lợi nhuận của cộng đồng chuyên gia uy tín người Việt trên toàn cầu, V-Bench mong muốn góp phần định nghĩa lại tiêu chuẩn AI tại Việt Nam và xây dựng một hệ tham chiếu AI cho quốc gia. Kết quả đánh giá của V-Bench sẽ mang tới góc nhìn toàn cảnh, giúp các tổ chức, doanh nghiệp khám phá chiều sâu năng lực của từng mô hình AI, từ đó lựa chọn mô hình tối ưu cho từng bối cảnh sử dụng và nhu cầu thực tế”, GS.TS. Dương Nguyên Vũ - Phó Hiệu trưởng, Giám đốc Khoa học Trung tâm Nghiên cứu AI Trường Đại học VinUni, cho biết.
V-Bench, được cung cấp miễn phí tại địa chỉ https://vbench.ai/, hiện đã tiến hành đánh giá và công bố kết quả tham chiếu của 15 mô hình LLM tiêu biểu hiện nay. Trong thời gian tới, VinUni cho biết V-Bench sẽ tiếp tục được phát triển để bổ sung các tiêu chí đánh giá mới dựa trên hình ảnh và âm thanh như: chữ Nôm, biển hiệu vùng miền, biểu đồ, di sản văn hóa, nhận diện và hiểu giọng nói ba miền, hiểu ngữ cảnh văn hóa qua video ngắn, hiểu tài liệu dài tiếng Việt trên 100.000 token như luật, hợp đồng, sách giáo khoa và trích dẫn chính xác từ văn bản pháp quy, công báo…
Theo VinUni, bộ công cụ V-Bench có sự tham gia cộng tác phi lợi nhuận của 18 chuyên gia người Việt đầu ngành AI trong và ngoài nước. Bộ công cụ này có thể đánh giá năng lực Tiếng Việt của các mô hình ngôn ngữ lớn dựa trên bộ dữ liệu chuyên sâu hơn 40.000 câu hỏi và tác vụ bao phủ nhiều lĩnh vực và phản ánh đầy đủ các yếu tố về văn hóa, ngôn ngữ, chủ quyền, an toàn thông tin và đặc thù địa phương.
V-Bench chia bộ công cụ theo 2 hạng mục lớn với 5 nhóm đánh giá chuyên biệt, bao gồm: Văn hóa ngầm định - đánh giá khả năng thấu hiểu các tầng nghĩa văn hóa ẩn sâu trong ngôn ngữ Việt như phong tục, tín ngưỡng, lịch sử; Đa dạng vùng miền - kiểm tra hiểu biết về phương ngữ Bắc - Trung - Nam, cách xưng hô và văn phong đặc trưng từng vùng; An toàn và chủ quyền số - đảm bảo tuân thủ các nguyên tắc an toàn thông tin quốc gia, chống thông tin sai lệch và bảo vệ chủ quyền số Việt Nam; Ứng dụng thực tiễn - đánh giá hiệu quả trong giáo dục, y tế cộng đồng và các lĩnh vực ứng dụng cụ thể của Việt Nam; Năng lực agentic AI - đánh giá khả năng lập kế hoạch, sử dụng công cụ, RAG và hành động tự chủ trong môi trường Việt Nam.
Nhờ đó, V-Bench không chỉ đo lường khả năng trả lời câu hỏi mang tính học thuật, mà còn đánh giá sự thấu hiểu văn hóa, ngôn ngữ vùng miền và khả năng hành động của AI trong bối cảnh Việt Nam, từ đó cho ra kết quả khách quan, toàn diện, sát với thực tế, có tính tham chiếu và giá trị định hướng cao cho cộng đồng. Đặc biệt, kết quả đánh giá bởi V-Bench được bảo chứng bởi hội đồng chuyên gia uy tín cùng phương pháp luận nghiêm ngặt và bộ dữ liệu có quy mô đồ sộ, khoa học, công phu nhất hiện nay.
Được xây dựng theo các kỹ thuật tương đồng và phổ biến trong nghiên cứu LLM quốc tế, V-Bench cũng có khả năng tương thích cao về thuật ngữ và quy trình với hệ sinh thái benchmark quốc tế, giúp các nhà phát triển LLM toàn cầu có thể tham gia đánh giá mà không gặp rào cản về quy ước kỹ thuật.
“Với bộ dữ liệu toàn diện cùng sự góp sức hoàn toàn khách quan, phi lợi nhuận của cộng đồng chuyên gia uy tín người Việt trên toàn cầu, V-Bench mong muốn góp phần định nghĩa lại tiêu chuẩn AI tại Việt Nam và xây dựng một hệ tham chiếu AI cho quốc gia. Kết quả đánh giá của V-Bench sẽ mang tới góc nhìn toàn cảnh, giúp các tổ chức, doanh nghiệp khám phá chiều sâu năng lực của từng mô hình AI, từ đó lựa chọn mô hình tối ưu cho từng bối cảnh sử dụng và nhu cầu thực tế”, GS.TS. Dương Nguyên Vũ - Phó Hiệu trưởng, Giám đốc Khoa học Trung tâm Nghiên cứu AI Trường Đại học VinUni, cho biết.
V-Bench, được cung cấp miễn phí tại địa chỉ https://vbench.ai/, hiện đã tiến hành đánh giá và công bố kết quả tham chiếu của 15 mô hình LLM tiêu biểu hiện nay. Trong thời gian tới, VinUni cho biết V-Bench sẽ tiếp tục được phát triển để bổ sung các tiêu chí đánh giá mới dựa trên hình ảnh và âm thanh như: chữ Nôm, biển hiệu vùng miền, biểu đồ, di sản văn hóa, nhận diện và hiểu giọng nói ba miền, hiểu ngữ cảnh văn hóa qua video ngắn, hiểu tài liệu dài tiếng Việt trên 100.000 token như luật, hợp đồng, sách giáo khoa và trích dẫn chính xác từ văn bản pháp quy, công báo…
