Sakana tuyên bố bài báo do AI tạo ra đã vượt qua bình duyệt - Sự thật đằng sau cú sốc này!

[Sóng AI]

• 
  Công ty khởi nghiệp AI Nhật Bản Sakana tuyên bố hệ thống AI Scientist-v2 của họ đã tạo ra một trong những bài báo khoa học đầu tiên được bình duyệt, nhưng thực tế có nhiều điểm cần lưu ý.
  
  
• 
  Sakana đã sử dụng AI để tạo ra toàn bộ bài báo bao gồm giả thuyết khoa học, thí nghiệm, mã thí nghiệm, phân tích dữ liệu, hình ảnh minh họa, văn bản và tiêu đề.
  
  
• 
  Công ty hợp tác với các nhà nghiên cứu từ đại học British Columbia và Oxford để gửi ba bài báo do AI tạo ra tới hội thảo ICLR để bình duyệt.
  
  
• 
  Trong ba bài báo, chỉ một bài được chấp nhận - một nghiên cứu phê phán về kỹ thuật huấn luyện cho các mô hình AI. Sakana đã rút bài ngay sau khi được chấp nhận vì lý do minh bạch.
  
  
• 
  Thành tựu này không ấn tượng như vẻ ngoài: AI đôi khi mắc lỗi trích dẫn "đáng xấu hổ", như quy sai một phương pháp cho bài báo năm 2016 thay vì công trình gốc từ năm 1997.
  
  
• 
  Bài báo không trải qua quá trình kiểm tra kỹ lưỡng như các ấn phẩm bình duyệt khác. Vì Sakana rút bài sau bình duyệt ban đầu, nó không nhận được "meta-review" bổ sung.
  
  
• 
  Tỷ lệ chấp nhận cho các hội thảo hội nghị thường cao hơn so với "phần chính" của hội nghị - điều mà Sakana cũng thẳng thắn đề cập. Không có nghiên cứu do AI tạo ra nào đạt tiêu chuẩn nội bộ của công ty cho phần chính của hội nghị ICLR.
  
  
• 
  Matthew Guzdial, nhà nghiên cứu AI tại đại học Alberta, cho rằng kết quả của Sakana "hơi gây hiểu lầm" vì đội ngũ Sakana đã chọn lọc các bài báo từ nhiều bài được tạo ra, nghĩa là họ dùng phán đoán của con người.
  
  
• 
  Mike Cook, nghiên cứu viên tại King's College London, đặt câu hỏi về sự nghiêm ngặt của người bình duyệt và hội thảo, lưu ý rằng các hội thảo mới thường được đánh giá bởi các nhà nghiên cứu ít kinh nghiệm hơn.
  
  
• 
  Chuyên gia lo ngại AI có thể tạo ra nhiều "nhiễu" trong tài liệu khoa học thay vì thúc đẩy tiến bộ. Sakana không tuyên bố AI của họ có thể tạo ra công trình khoa học đột phá, mà mục tiêu là "nghiên cứu chất lượng nghiên cứu do AI tạo ra".
  

Sakana đã tạo ra một bài báo khoa học được chấp nhận bằng AI Scientist-v2, nhưng thành tựu này có nhiều hạn chế: lỗi trích dẫn, quy trình bình duyệt đơn giản, và sự can thiệp của con người trong chọn lọc. Kết quả này làm dấy lên những câu hỏi quan trọng về vai trò của AI trong nghiên cứu khoa học.

Nguồn: Songai.vn​