Nhai kỹ sống chậm
Writer
Trí tuệ nhân tạo (AI), đặc biệt là các mô hình ngôn ngữ lớn như GPT-4, đã cho thấy hiệu suất ấn tượng trong các nhiệm vụ lý luận. Nhưng AI có thực sự hiểu các khái niệm trừu tượng hay chỉ bắt chước các mẫu? Một nghiên cứu mới từ Đại học Amsterdam và Viện Santa Fe cho thấy rằng trong khi các mô hình GPT hoạt động tốt trong một số nhiệm vụ tương tự, chúng lại không đạt yêu cầu khi các vấn đề bị thay đổi, làm nổi bật những điểm yếu chính trong khả năng lý luận của AI. Công trình này được công bố trên Transactions on Machine Learning Research.
Suy luận tương tự là khả năng so sánh giữa hai thứ khác nhau dựa trên điểm tương đồng của chúng ở một số khía cạnh. Đây là một trong những phương pháp phổ biến nhất mà con người dùng để cố gắng hiểu thế giới và đưa ra quyết định. Một ví dụ về suy luận tương tự: cốc là cà phê như súp là ??? (câu trả lời là: bát)
Các mô hình ngôn ngữ lớn như GPT-4 hoạt động tốt trong nhiều bài kiểm tra khác nhau, bao gồm cả những bài kiểm tra đòi hỏi lý luận tương tự. Nhưng liệu các mô hình AI có thực sự tham gia vào lý luận chung, mạnh mẽ hay chúng quá phụ thuộc vào các mẫu từ dữ liệu đào tạo của chúng? Nghiên cứu này của các chuyên gia ngôn ngữ và AI Martha Lewis (Viện Logic, Ngôn ngữ và Tính toán tại Đại học Amsterdam) và Melanie Mitchell (Viện Santa Fe) đã xem xét liệu các mô hình GPT có linh hoạt và mạnh mẽ như con người trong việc đưa ra phép loại suy hay không.
"Điều này rất quan trọng vì AI ngày càng được sử dụng nhiều để ra quyết định và giải quyết vấn đề trong thế giới thực", Lewis giải thích.
So sánh các mô hình AI với hiệu suất của con người
Lewis và Mitchell đã so sánh hiệu suất của con người và mô hình GPT trên ba loại vấn đề tương tự khác nhau:
Ngoài việc kiểm tra xem các mô hình GPT có thể giải quyết được các vấn đề ban đầu hay không, nghiên cứu đã xem xét hiệu suất của chúng khi các vấn đề được sửa đổi một cách tinh tế. "Một hệ thống thực sự hiểu được các phép loại suy sẽ duy trì hiệu suất cao ngay cả trên các biến thể này", các tác giả nêu trong bài viết của họ.
Các mô hình GPT gặp khó khăn về độ mạnh mẽ
Con người duy trì hiệu suất cao trên hầu hết các phiên bản đã sửa đổi của các vấn đề, nhưng các mô hình GPT, mặc dù hoạt động tốt trên các vấn đề tương tự tiêu chuẩn, lại gặp khó khăn với các biến thể. "Điều này cho thấy các mô hình AI thường suy luận kém linh hoạt hơn con người và lý luận của chúng ít liên quan đến sự hiểu biết trừu tượng thực sự mà liên quan nhiều hơn đến việc khớp mẫu", Lewis giải thích.
Trong ma trận số, các mô hình GPT cho thấy hiệu suất giảm đáng kể khi vị trí của số bị thiếu thay đổi. Con người không gặp khó khăn gì với điều này. Trong các phép loại suy trong câu chuyện, GPT-4 có xu hướng chọn câu trả lời đầu tiên được đưa ra là đúng thường xuyên hơn, trong khi con người không bị ảnh hưởng bởi thứ tự câu trả lời. Ngoài ra, GPT-4 gặp nhiều khó khăn hơn con người khi các yếu tố chính của một câu chuyện được diễn đạt lại, cho thấy sự phụ thuộc vào các điểm tương đồng ở cấp độ bề mặt hơn là lý luận nhân quả sâu hơn.
Trong các nhiệm vụ tương tự đơn giản hơn , các mô hình GPT cho thấy hiệu suất giảm khi được thử nghiệm trên các phiên bản đã sửa đổi, trong khi con người vẫn nhất quán. Tuy nhiên, đối với các nhiệm vụ suy luận tương tự phức tạp hơn , cả con người và AI đều gặp khó khăn.
Yếu hơn nhận thức của con người
Nghiên cứu này thách thức giả định phổ biến rằng các mô hình AI như GPT-4 có thể lý luận theo cùng cách con người làm. "Mặc dù các mô hình AI thể hiện khả năng ấn tượng, nhưng điều này không có nghĩa là chúng thực sự hiểu những gì chúng đang làm", Lewis và Mitchell kết luận. "Khả năng khái quát hóa qua các biến thể của chúng vẫn yếu hơn đáng kể so với nhận thức của con người. Các mô hình GPT thường dựa vào các mô hình hời hợt hơn là sự hiểu biết sâu sắc".
Đây là lời cảnh báo quan trọng cho việc sử dụng AI trong các lĩnh vực ra quyết định quan trọng như giáo dục, luật pháp và chăm sóc sức khỏe. AI có thể là một công cụ mạnh mẽ, nhưng nó vẫn chưa thể thay thế cho tư duy và lý luận của con người.
Suy luận tương tự là khả năng so sánh giữa hai thứ khác nhau dựa trên điểm tương đồng của chúng ở một số khía cạnh. Đây là một trong những phương pháp phổ biến nhất mà con người dùng để cố gắng hiểu thế giới và đưa ra quyết định. Một ví dụ về suy luận tương tự: cốc là cà phê như súp là ??? (câu trả lời là: bát)
Các mô hình ngôn ngữ lớn như GPT-4 hoạt động tốt trong nhiều bài kiểm tra khác nhau, bao gồm cả những bài kiểm tra đòi hỏi lý luận tương tự. Nhưng liệu các mô hình AI có thực sự tham gia vào lý luận chung, mạnh mẽ hay chúng quá phụ thuộc vào các mẫu từ dữ liệu đào tạo của chúng? Nghiên cứu này của các chuyên gia ngôn ngữ và AI Martha Lewis (Viện Logic, Ngôn ngữ và Tính toán tại Đại học Amsterdam) và Melanie Mitchell (Viện Santa Fe) đã xem xét liệu các mô hình GPT có linh hoạt và mạnh mẽ như con người trong việc đưa ra phép loại suy hay không.
"Điều này rất quan trọng vì AI ngày càng được sử dụng nhiều để ra quyết định và giải quyết vấn đề trong thế giới thực", Lewis giải thích.
So sánh các mô hình AI với hiệu suất của con người
Lewis và Mitchell đã so sánh hiệu suất của con người và mô hình GPT trên ba loại vấn đề tương tự khác nhau:
- Trình tự chữ cái - Xác định các mẫu trong trình tự chữ cái và hoàn thành chúng một cách chính xác.
- Ma trận chữ số - Phân tích các mẫu số và xác định các số còn thiếu.
- Phép loại suy trong truyện - Hiểu được câu chuyện nào trong hai câu chuyện tương ứng nhất với một câu chuyện ví dụ nhất định.
Ngoài việc kiểm tra xem các mô hình GPT có thể giải quyết được các vấn đề ban đầu hay không, nghiên cứu đã xem xét hiệu suất của chúng khi các vấn đề được sửa đổi một cách tinh tế. "Một hệ thống thực sự hiểu được các phép loại suy sẽ duy trì hiệu suất cao ngay cả trên các biến thể này", các tác giả nêu trong bài viết của họ.
Các mô hình GPT gặp khó khăn về độ mạnh mẽ
Con người duy trì hiệu suất cao trên hầu hết các phiên bản đã sửa đổi của các vấn đề, nhưng các mô hình GPT, mặc dù hoạt động tốt trên các vấn đề tương tự tiêu chuẩn, lại gặp khó khăn với các biến thể. "Điều này cho thấy các mô hình AI thường suy luận kém linh hoạt hơn con người và lý luận của chúng ít liên quan đến sự hiểu biết trừu tượng thực sự mà liên quan nhiều hơn đến việc khớp mẫu", Lewis giải thích.
Trong ma trận số, các mô hình GPT cho thấy hiệu suất giảm đáng kể khi vị trí của số bị thiếu thay đổi. Con người không gặp khó khăn gì với điều này. Trong các phép loại suy trong câu chuyện, GPT-4 có xu hướng chọn câu trả lời đầu tiên được đưa ra là đúng thường xuyên hơn, trong khi con người không bị ảnh hưởng bởi thứ tự câu trả lời. Ngoài ra, GPT-4 gặp nhiều khó khăn hơn con người khi các yếu tố chính của một câu chuyện được diễn đạt lại, cho thấy sự phụ thuộc vào các điểm tương đồng ở cấp độ bề mặt hơn là lý luận nhân quả sâu hơn.
Trong các nhiệm vụ tương tự đơn giản hơn , các mô hình GPT cho thấy hiệu suất giảm khi được thử nghiệm trên các phiên bản đã sửa đổi, trong khi con người vẫn nhất quán. Tuy nhiên, đối với các nhiệm vụ suy luận tương tự phức tạp hơn , cả con người và AI đều gặp khó khăn.
Yếu hơn nhận thức của con người
Nghiên cứu này thách thức giả định phổ biến rằng các mô hình AI như GPT-4 có thể lý luận theo cùng cách con người làm. "Mặc dù các mô hình AI thể hiện khả năng ấn tượng, nhưng điều này không có nghĩa là chúng thực sự hiểu những gì chúng đang làm", Lewis và Mitchell kết luận. "Khả năng khái quát hóa qua các biến thể của chúng vẫn yếu hơn đáng kể so với nhận thức của con người. Các mô hình GPT thường dựa vào các mô hình hời hợt hơn là sự hiểu biết sâu sắc".
Đây là lời cảnh báo quan trọng cho việc sử dụng AI trong các lĩnh vực ra quyết định quan trọng như giáo dục, luật pháp và chăm sóc sức khỏe. AI có thể là một công cụ mạnh mẽ, nhưng nó vẫn chưa thể thay thế cho tư duy và lý luận của con người.
