Derpy✔
Intern Writer
Chúng ta vẫn thường nghĩ, cứ có AI hỗ trợ là mọi thứ sẽ tốt hơn, đặc biệt trong những lĩnh vực phức tạp như y tế. Nhưng liệu một giải pháp "một kích cỡ cho tất cả" có thực sự hiệu quả khi thiết kế các hệ thống trí tuệ nhân tạo giúp chẩn đoán bệnh? Một nghiên cứu mới đây từ các nhà khoa học tại MIT, Stanford và Columbia đã chỉ ra rằng câu trả lời không đơn giản như vậy, đặc biệt là khi xét đến mức độ kiến thức của người dùng.
Nghiên cứu này, được công bố trên tạp chí Nature Medicine, tập trung vào việc AI hỗ trợ chẩn đoán các bệnh về da. Các nhà nghiên cứu đã phát hiện ra rằng, dù AI nói chung có cải thiện độ chính xác chẩn đoán cho cả người không chuyên và các bác sĩ lâm sàng, nhưng cách thức AI giải thích quyết định của mình (Explainable AI - XAI) lại có tác động rất khác nhau tùy thuộc vào trình độ của người sử dụng.
Explainable AI (XAI) là những phương pháp giúp người dùng hiểu tại sao AI đưa ra một dự đoán cụ thể, từ đó biết khi nào nên tin tưởng vào nó. Chẳng hạn, một mô hình có thể dùng bản đồ nhiệt (heat map) để làm nổi bật những vùng ảnh quan trọng nhất trong chẩn đoán, hoặc sử dụng mô hình ngôn ngữ lớn (LLM) để giải thích kết quả bằng ngôn ngữ đời thường, dễ hiểu.
Trong thử nghiệm, các nhà khoa học đã cho cả người không chuyên và các bác sĩ đa khoa xem hình ảnh y tế cùng với dự đoán của AI về bệnh ngoài da, sử dụng nhiều phương pháp XAI khác nhau. Kết quả thật sự đáng suy ngẫm.
Với những người không có chuyên môn y tế, độ chính xác chẩn đoán của họ đã được cải thiện. Tuy nhiên, sự cải thiện này phần lớn đến từ việc họ quá tin tưởng và phụ thuộc vào hệ thống AI. Người không chuyên có xu hướng tin vào các giải thích dựa trên LLM, bất kể chúng đúng hay sai, và thậm chí còn thấy những giải thích mơ hồ hoặc chung chung lại càng thuyết phục hơn. Điều này cho thấy một "hiệu ứng phục tùng" (deference effect) rõ rệt, nơi người dùng dễ dàng chấp nhận kết quả của AI mà ít khi đặt câu hỏi.
Ngược lại, các bác sĩ lâm sàng lại không hề bị đánh lừa bởi những hỗ trợ AI không chính xác. Họ thậm chí còn thực hiện tốt nhất khi chỉ được cung cấp dự đoán của mô hình mà không kèm theo bất kỳ lời giải thích nào. Điều này cho thấy kinh nghiệm và kiến thức chuyên môn giúp họ có khả năng đánh giá độc lập và không bị ảnh hưởng bởi những giải thích sai lệch.
Marzyeh Ghassemi, phó giáo sư tại MIT và là một trong những nhà nghiên cứu chính, chia sẻ rằng các hệ thống AI tốt có thể cải thiện hiệu suất trong một số môi trường y tế, nhưng điều này phải được cân bằng cẩn thận với sự phục tùng thuật toán có thể dẫn đến nhiều lỗi hơn. Cô nhấn mạnh rằng cả AI và các phương pháp XAI đều có thể gây ra "thiên vị tự động hóa" (automation bias) ở con người, và hiệu ứng neo (anchoring effect) này cần được tính đến khi thiết kế hệ thống AI.
Roxana Daneshjou, đồng tác giả từ Đại học Stanford, cũng cảnh báo rằng những người có ít kiến thức y tế nhất lại là những người dễ bị AI dẫn dắt sai lầm nhất khi mô hình XAI đưa ra kết quả không chính xác. Điều này đặc biệt quan trọng khi ngày càng nhiều bệnh nhân tìm đến AI để hỗ trợ chăm sóc sức khỏe.
Orson Xu, tác giả chính từ Đại học Columbia, khẳng định rằng chúng ta không thể chỉ đơn thuần cho rằng một AI tốt sẽ giải quyết mọi vấn đề. Cần phải đặc biệt chú ý đến người dùng sẽ sử dụng hệ thống AI, bởi vì cùng một lời giải thích có thể giúp ích cho một chuyên gia nhưng lại làm lạc lối một người mới bắt đầu. Thường thì những người có thể hưởng lợi nhiều nhất từ AI lại là những người dễ bị nó dẫn dắt sai lầm nhất, vì vậy cách chúng ta trình bày một khuyến nghị quan trọng không kém việc nó có chính xác hay không.
Nghiên cứu cũng đi sâu vào các yếu tố ảnh hưởng đến sự phục tùng này. Họ phát hiện ra rằng những người dùng có xu hướng phục tùng AI nhất cũng chính là những người có hiệu suất kém nhất khi không có sự trợ giúp của AI. Thời điểm AI đưa ra lời giải thích cũng rất quan trọng: nếu lời giải thích được đưa ra trước khi người dùng tự chẩn đoán, họ có xu hướng phục tùng mô hình nhiều hơn.
Ngoài ra, AI hoạt động tốt hơn con người khi các biểu hiện bệnh tinh vi, khó nhận biết. Ngược lại, con người lại vượt trội hơn nếu có các triệu chứng không điển hình hoặc các đặc điểm không liên quan trong hình ảnh.
Những kết quả này cho thấy XAI có thể gây ra sự phụ thuộc quá mức vào các mô hình, khiến người dùng mù quáng làm theo khuyến nghị của AI ngay cả khi chúng sai. Thay vì chỉ tạo ra các giải thích chi tiết hơn bằng LLM, có lẽ sẽ hiệu quả hơn nếu yêu cầu người dùng đưa ra giả thuyết chẩn đoán của riêng mình trước, sau đó AI mới đưa ra gợi ý để làm nổi bật các tình trạng khác cần xem xét.
Marzyeh Ghassemi kết luận rằng chúng ta thực sự muốn AI cải thiện khả năng sáng tạo và nâng cao kỹ năng hoặc lấp đầy những khoảng trống mà người dùng bỏ lỡ các biểu hiện tinh tế. Nếu không, chúng ta có nguy cơ mắc phải thiên vị tự động hóa, và khi mô hình sai, người dùng sẽ không thể phục hồi.
Nghiên cứu này được tài trợ một phần bởi Quỹ Khoa học Quốc gia, Schmidt Sciences, Cục Nghiên cứu Kinh tế Quốc gia và Đại học Columbia. (MIT)
Nghiên cứu này, được công bố trên tạp chí Nature Medicine, tập trung vào việc AI hỗ trợ chẩn đoán các bệnh về da. Các nhà nghiên cứu đã phát hiện ra rằng, dù AI nói chung có cải thiện độ chính xác chẩn đoán cho cả người không chuyên và các bác sĩ lâm sàng, nhưng cách thức AI giải thích quyết định của mình (Explainable AI - XAI) lại có tác động rất khác nhau tùy thuộc vào trình độ của người sử dụng.
Explainable AI (XAI) là những phương pháp giúp người dùng hiểu tại sao AI đưa ra một dự đoán cụ thể, từ đó biết khi nào nên tin tưởng vào nó. Chẳng hạn, một mô hình có thể dùng bản đồ nhiệt (heat map) để làm nổi bật những vùng ảnh quan trọng nhất trong chẩn đoán, hoặc sử dụng mô hình ngôn ngữ lớn (LLM) để giải thích kết quả bằng ngôn ngữ đời thường, dễ hiểu.
Trong thử nghiệm, các nhà khoa học đã cho cả người không chuyên và các bác sĩ đa khoa xem hình ảnh y tế cùng với dự đoán của AI về bệnh ngoài da, sử dụng nhiều phương pháp XAI khác nhau. Kết quả thật sự đáng suy ngẫm.
Với những người không có chuyên môn y tế, độ chính xác chẩn đoán của họ đã được cải thiện. Tuy nhiên, sự cải thiện này phần lớn đến từ việc họ quá tin tưởng và phụ thuộc vào hệ thống AI. Người không chuyên có xu hướng tin vào các giải thích dựa trên LLM, bất kể chúng đúng hay sai, và thậm chí còn thấy những giải thích mơ hồ hoặc chung chung lại càng thuyết phục hơn. Điều này cho thấy một "hiệu ứng phục tùng" (deference effect) rõ rệt, nơi người dùng dễ dàng chấp nhận kết quả của AI mà ít khi đặt câu hỏi.
Ngược lại, các bác sĩ lâm sàng lại không hề bị đánh lừa bởi những hỗ trợ AI không chính xác. Họ thậm chí còn thực hiện tốt nhất khi chỉ được cung cấp dự đoán của mô hình mà không kèm theo bất kỳ lời giải thích nào. Điều này cho thấy kinh nghiệm và kiến thức chuyên môn giúp họ có khả năng đánh giá độc lập và không bị ảnh hưởng bởi những giải thích sai lệch.
Marzyeh Ghassemi, phó giáo sư tại MIT và là một trong những nhà nghiên cứu chính, chia sẻ rằng các hệ thống AI tốt có thể cải thiện hiệu suất trong một số môi trường y tế, nhưng điều này phải được cân bằng cẩn thận với sự phục tùng thuật toán có thể dẫn đến nhiều lỗi hơn. Cô nhấn mạnh rằng cả AI và các phương pháp XAI đều có thể gây ra "thiên vị tự động hóa" (automation bias) ở con người, và hiệu ứng neo (anchoring effect) này cần được tính đến khi thiết kế hệ thống AI.
Roxana Daneshjou, đồng tác giả từ Đại học Stanford, cũng cảnh báo rằng những người có ít kiến thức y tế nhất lại là những người dễ bị AI dẫn dắt sai lầm nhất khi mô hình XAI đưa ra kết quả không chính xác. Điều này đặc biệt quan trọng khi ngày càng nhiều bệnh nhân tìm đến AI để hỗ trợ chăm sóc sức khỏe.
Orson Xu, tác giả chính từ Đại học Columbia, khẳng định rằng chúng ta không thể chỉ đơn thuần cho rằng một AI tốt sẽ giải quyết mọi vấn đề. Cần phải đặc biệt chú ý đến người dùng sẽ sử dụng hệ thống AI, bởi vì cùng một lời giải thích có thể giúp ích cho một chuyên gia nhưng lại làm lạc lối một người mới bắt đầu. Thường thì những người có thể hưởng lợi nhiều nhất từ AI lại là những người dễ bị nó dẫn dắt sai lầm nhất, vì vậy cách chúng ta trình bày một khuyến nghị quan trọng không kém việc nó có chính xác hay không.
Nghiên cứu cũng đi sâu vào các yếu tố ảnh hưởng đến sự phục tùng này. Họ phát hiện ra rằng những người dùng có xu hướng phục tùng AI nhất cũng chính là những người có hiệu suất kém nhất khi không có sự trợ giúp của AI. Thời điểm AI đưa ra lời giải thích cũng rất quan trọng: nếu lời giải thích được đưa ra trước khi người dùng tự chẩn đoán, họ có xu hướng phục tùng mô hình nhiều hơn.
Ngoài ra, AI hoạt động tốt hơn con người khi các biểu hiện bệnh tinh vi, khó nhận biết. Ngược lại, con người lại vượt trội hơn nếu có các triệu chứng không điển hình hoặc các đặc điểm không liên quan trong hình ảnh.
Những kết quả này cho thấy XAI có thể gây ra sự phụ thuộc quá mức vào các mô hình, khiến người dùng mù quáng làm theo khuyến nghị của AI ngay cả khi chúng sai. Thay vì chỉ tạo ra các giải thích chi tiết hơn bằng LLM, có lẽ sẽ hiệu quả hơn nếu yêu cầu người dùng đưa ra giả thuyết chẩn đoán của riêng mình trước, sau đó AI mới đưa ra gợi ý để làm nổi bật các tình trạng khác cần xem xét.
Marzyeh Ghassemi kết luận rằng chúng ta thực sự muốn AI cải thiện khả năng sáng tạo và nâng cao kỹ năng hoặc lấp đầy những khoảng trống mà người dùng bỏ lỡ các biểu hiện tinh tế. Nếu không, chúng ta có nguy cơ mắc phải thiên vị tự động hóa, và khi mô hình sai, người dùng sẽ không thể phục hồi.
Nghiên cứu này được tài trợ một phần bởi Quỹ Khoa học Quốc gia, Schmidt Sciences, Cục Nghiên cứu Kinh tế Quốc gia và Đại học Columbia. (MIT)
