Derpy
Intern Writer
Trong một báo cáo mới được công bố bởi DataTecnica và Trung tâm Bệnh Alzheimer và các Dòng Liên Quan thuộc Viện Y Tế Quốc Gia Hoa Kỳ (NIH), một thực tế đáng lo ngại đã được chỉ ra: tất cả các chương trình AI sinh ra đều không thể sản xuất ra những thông tin an toàn và chính xác liên quan đến y học. Dù cho đã có nhiều tiến bộ trong lĩnh vực AI y tế được ghi nhận trong tài liệu học thuật, nhưng khi người dùng ngày càng tìm kiếm những câu trả lời liên quan đến sức khỏe thông qua các chatbot như ChatGPT, họ thường đặt niềm tin vào những lời khuyên từ AI hơn là từ các bác sĩ, ngay cả khi những lời khuyên này không chính xác.
Báo cáo này đã so sánh hiệu suất của GPT-5 từ OpenAI cùng nhiều mô hình khác từ Google, Anthropic và Meta thông qua một tiêu chuẩn mới có tên CARDBiomedBench. Kết quả cho thấy “hiệu suất trong nghiên cứu y sinh thực tế vẫn còn rất xa với yêu cầu”. CARDBiomedBench đã được công bố trong năm nay và được phát triển qua sự hợp tác giữa DataTecnica và các nhà nghiên cứu của CARD.
Một điểm cần lưu ý là không có mô hình nào hiện tại đáp ứng được các yêu cầu về lý luận và kiến thức chuyên môn mà các nhà khoa học y sinh cần. Báo cáo khẳng định rằng các mô hình hiện tại quá mơ hồ và thiếu chính xác để đáp ứng tiêu chuẩn y học. Sự thiếu hụt này cho thấy sự thiếu đồng bộ giữa khả năng AI tổng quát và nhu cầu của các cộng đồng khoa học chuyên môn. Các nhà nghiên cứu y sinh cần những công cụ thực sự giúp khám phá thông tin mới, giảm thiểu sai sót và tăng tốc độ phát hiện.
Cuộc nghiên cứu này còn thu hút sự chú ý khi nhắc đến HealthBench - một bộ công cụ do OpenAI phát triển, tập trung vào các tình huống y tế có thể gặp phải khi cần tư vấn từ chatbot. Mặc dù đã có những cải tiến về hiệu suất, báo cáo cũng chỉ ra rằng còn nhiều khoảng trống cần phải lấp đầy trong khả năng tương tác của các mô hình AI hiện tại với các cuộc thảo luận và quy trình liên quan đến sức khỏe.
Để khắc phục khoảng cách giữa mô hình AI và y học, DataTecnica đã hợp tác với LMArena.ai, để phát triển BiomedArena, một bảng xếp hạng giúp so sánh các mô hình AI một cách chi tiết và cho phép người dùng đánh giá hiệu quả của chúng. BiomedArena tập trung vào nghiên cứu y tế, khác với các bảng xếp hạng chung. Nỗ lực này đã được các nhà khoa học tại Chương trình Nghiên cứu Nội bộ của NIH sử dụng, nơi mà các nhà nghiên cứu theo đuổi những dự án tầm cỡ và rủi ro cao.
Tuy nhiên, còn hai câu hỏi lớn đối với nỗ lực này. Thứ nhất, các nghiên cứu trước đây đã chỉ ra rằng sự hữu ích của AI tăng đáng kể khi được kết nối với các cơ sở dữ liệu y tế chất lượng cao, nhưng không rõ LMArena và DataTecnica sẽ giải quyết khía cạnh này như thế nào. Thứ hai, nhiều mô hình ngôn ngữ lớn cụ thể cho y học, như chương trình MedPaLM của Google, đang được phát triển, nhưng không rõ liệu BiomedArena có xem xét đến những mô hình này hay không. Dù đây là một lựa chọn hợp lý, nhưng điều này có thể bỏ qua nhiều nỗ lực quan trọng trong lĩnh vực y học.
Nguồn tham khảo: Zdnet
Báo cáo này đã so sánh hiệu suất của GPT-5 từ OpenAI cùng nhiều mô hình khác từ Google, Anthropic và Meta thông qua một tiêu chuẩn mới có tên CARDBiomedBench. Kết quả cho thấy “hiệu suất trong nghiên cứu y sinh thực tế vẫn còn rất xa với yêu cầu”. CARDBiomedBench đã được công bố trong năm nay và được phát triển qua sự hợp tác giữa DataTecnica và các nhà nghiên cứu của CARD.
Một điểm cần lưu ý là không có mô hình nào hiện tại đáp ứng được các yêu cầu về lý luận và kiến thức chuyên môn mà các nhà khoa học y sinh cần. Báo cáo khẳng định rằng các mô hình hiện tại quá mơ hồ và thiếu chính xác để đáp ứng tiêu chuẩn y học. Sự thiếu hụt này cho thấy sự thiếu đồng bộ giữa khả năng AI tổng quát và nhu cầu của các cộng đồng khoa học chuyên môn. Các nhà nghiên cứu y sinh cần những công cụ thực sự giúp khám phá thông tin mới, giảm thiểu sai sót và tăng tốc độ phát hiện.
Cuộc nghiên cứu này còn thu hút sự chú ý khi nhắc đến HealthBench - một bộ công cụ do OpenAI phát triển, tập trung vào các tình huống y tế có thể gặp phải khi cần tư vấn từ chatbot. Mặc dù đã có những cải tiến về hiệu suất, báo cáo cũng chỉ ra rằng còn nhiều khoảng trống cần phải lấp đầy trong khả năng tương tác của các mô hình AI hiện tại với các cuộc thảo luận và quy trình liên quan đến sức khỏe.
Để khắc phục khoảng cách giữa mô hình AI và y học, DataTecnica đã hợp tác với LMArena.ai, để phát triển BiomedArena, một bảng xếp hạng giúp so sánh các mô hình AI một cách chi tiết và cho phép người dùng đánh giá hiệu quả của chúng. BiomedArena tập trung vào nghiên cứu y tế, khác với các bảng xếp hạng chung. Nỗ lực này đã được các nhà khoa học tại Chương trình Nghiên cứu Nội bộ của NIH sử dụng, nơi mà các nhà nghiên cứu theo đuổi những dự án tầm cỡ và rủi ro cao.
Tuy nhiên, còn hai câu hỏi lớn đối với nỗ lực này. Thứ nhất, các nghiên cứu trước đây đã chỉ ra rằng sự hữu ích của AI tăng đáng kể khi được kết nối với các cơ sở dữ liệu y tế chất lượng cao, nhưng không rõ LMArena và DataTecnica sẽ giải quyết khía cạnh này như thế nào. Thứ hai, nhiều mô hình ngôn ngữ lớn cụ thể cho y học, như chương trình MedPaLM của Google, đang được phát triển, nhưng không rõ liệu BiomedArena có xem xét đến những mô hình này hay không. Dù đây là một lựa chọn hợp lý, nhưng điều này có thể bỏ qua nhiều nỗ lực quan trọng trong lĩnh vực y học.
Nguồn tham khảo: Zdnet
