Mai Nhung
Writer
Khám phá khoa học là một trong những hoạt động phức tạp nhất của con người. Đầu tiên, các nhà khoa học phải hiểu kiến thức hiện có và xác định khoảng trống đáng kể. Tiếp theo, họ phải hình thành một câu hỏi nghiên cứu, thiết kế và tiến hành một thử nghiệm để tìm ra câu trả lời. Sau đó, họ phải phân tích và giải thích kết quả thí nghiệm, điều này có thể đặt ra một câu hỏi nghiên cứu khác.
Liệu một quá trình phức tạp như thế này có thể được tự động hóa không? Tuần trước, Sakana AI Labs đã công bố thành lập “nhà khoa học AI” - một hệ thống trí tuệ nhân tạo mà họ tuyên bố có thể thực hiện những khám phá khoa học trong lĩnh vực học máy theo cách hoàn toàn tự động.
Sử dụng các mô hình ngôn ngữ lớn tổng quát (LLM) như mô hình đằng sau ChatGPT và các chatbot AI khác, hệ thống có thể động não, chọn ý tưởng đầy hứa hẹn, viết mã các thuật toán mới, vẽ kết quả và viết một bài báo tóm tắt thử nghiệm cũng như các phát hiện của nó, cùng với các tài liệu tham khảo. Sakana tuyên bố công cụ AI có thể thực hiện toàn bộ vòng đời của một thí nghiệm khoa học với chi phí chỉ 15 USD (khoảng 375 nghìn đồng) cho mỗi bài báo – thấp hơn chi phí cho bữa trưa của một nhà khoa học (theo tiêu chuẩn Mỹ - Châu Âu).
Đây là một số tuyên bố lớn. Họ có xếp chồng lên nhau không? Và ngay cả khi họ làm vậy, liệu đội quân các nhà khoa học AI đang tung ra các tài liệu nghiên cứu với tốc độ chóng mặt có thực sự là tin tốt cho khoa học?
LLM được đào tạo với dữ liệu này nắm bắt ngôn ngữ khoa học và các mô hình của nó. Do đó, có lẽ không có gì đáng ngạc nhiên khi một LLM tổng quát có thể tạo ra thứ gì đó trông giống như một bài báo khoa học hay - nó đã thu thập nhiều ví dụ mà nó có thể sao chép.
Điều chưa rõ ràng là liệu hệ thống AI có thể tạo ra một bài báo khoa học thú vị hay không . Điều quan trọng là khoa học tốt đòi hỏi sự mới lạ.
Hệ thống Sakana cố gắng giải quyết sự thú vị theo hai cách. Đầu tiên, nó “chấm điểm” các ý tưởng bài viết mới về sự tương đồng với nghiên cứu hiện có (được lập chỉ mục trong kho Semantic Scholar ). Bất cứ điều gì quá giống nhau sẽ bị loại bỏ.
Thứ hai, hệ thống của Sakana giới thiệu bước “đánh giá ngang hàng” – sử dụng LLM khác để đánh giá chất lượng và tính mới của bài báo được tạo ra. Một lần nữa, có rất nhiều ví dụ về đánh giá ngang hàng trực tuyến trên các trang web như openreview.net có thể hướng dẫn cách phê bình một bài báo. LLM cũng đã sử dụng những thứ này.
Phản hồi trái chiều về kết quả đầu ra của Sakana AI. Một số người đã mô tả nó tạo ra “ sự trượt dốc vô tận về mặt khoa học ”.
Ngay cả việc đánh giá kết quả đầu ra của chính hệ thống cũng đánh giá các bài báo đó yếu kém nhất. Điều này có thể sẽ được cải thiện khi công nghệ phát triển, nhưng câu hỏi liệu các bài báo khoa học tự động có giá trị hay không vẫn còn tồn tại.
Khả năng LLM đánh giá chất lượng nghiên cứu cũng là một câu hỏi mở. Công trình của riêng tôi (sắp được xuất bản trên Phương pháp tổng hợp nghiên cứu ) cho thấy LLM không giỏi trong việc đánh giá nguy cơ sai lệch trong các nghiên cứu y học, mặc dù điều này cũng có thể cải thiện theo thời gian.
Hệ thống của Sakana tự động hóa các khám phá trong nghiên cứu tính toán, dễ dàng hơn nhiều so với các loại hình khoa học khác yêu cầu thí nghiệm vật lý. Các thử nghiệm của Sakana được thực hiện bằng mã, đây cũng là văn bản có cấu trúc mà LLM có thể được đào tạo để tạo ra.
Các nhà nghiên cứu AI đã phát triển các hệ thống hỗ trợ khoa học trong nhiều thập kỷ. Với khối lượng nghiên cứu được công bố khổng lồ, ngay cả việc tìm kiếm các ấn phẩm liên quan đến một câu hỏi khoa học cụ thể cũng có thể là một thách thức.
Các công cụ tìm kiếm chuyên dụng tận dụng AI để giúp các nhà khoa học tìm kiếm và tổng hợp công trình hiện có. Chúng bao gồm Semantic Scholar được đề cập ở trên, nhưng cũng có các hệ thống mới hơn như Elicit , Research Rabbit , scite và Consensus.
Các công cụ khai thác văn bản như PubTator đào sâu hơn vào các bài viết để xác định các điểm trọng tâm, chẳng hạn như các đột biến gen và bệnh tật cụ thể cũng như các mối quan hệ đã được thiết lập của chúng. Điều này đặc biệt hữu ích cho việc quản lý và tổ chức thông tin khoa học.
Học máy cũng đã được sử dụng để hỗ trợ tổng hợp và phân tích bằng chứng y tế trong các công cụ như Robot Reviewer . Các bản tóm tắt so sánh và đối chiếu các tuyên bố trong các bài báo của Scholarcy giúp thực hiện việc đánh giá tài liệu.
Tất cả những công cụ này đều nhằm mục đích giúp các nhà khoa học thực hiện công việc của mình hiệu quả hơn chứ không phải để thay thế họ.
Mặc dù Sakana AI tuyên bố rằng họ không thấy vai trò của các nhà khoa học con người bị suy giảm, nhưng tầm nhìn của công ty về “một hệ sinh thái khoa học hoàn toàn do AI điều khiển” sẽ có ý nghĩa lớn đối với khoa học.
Một mối lo ngại là, nếu các bài báo do AI tạo ra tràn ngập tài liệu khoa học, các hệ thống AI trong tương lai có thể được đào tạo về đầu ra AI và trải qua quá trình sụp đổ mô hình . Điều này có nghĩa là họ có thể ngày càng trở nên kém hiệu quả trong việc đổi mới.
Tuy nhiên, những tác động đối với khoa học còn vượt xa những tác động đối với bản thân các hệ thống khoa học AI.
Đã có những tác nhân xấu trong khoa học, bao gồm cả “nhà máy giấy” sản xuất giấy giả . Vấn đề này sẽ chỉ trở nên tồi tệ hơn khi một bài báo khoa học có thể được sản xuất với chi phí 15 USD và lời nhắc ban đầu mơ hồ.
Nhu cầu kiểm tra lỗi trong hàng núi nghiên cứu được tạo ra tự động có thể nhanh chóng vượt quá năng lực của các nhà khoa học thực tế. Hệ thống đánh giá ngang hàng được cho là đã bị hỏng và việc đưa thêm nghiên cứu về chất lượng đáng ngờ vào hệ thống sẽ không giải quyết được vấn đề.
Khoa học về cơ bản dựa trên sự tin tưởng. Các nhà khoa học nhấn mạnh tính toàn vẹn của quy trình khoa học để chúng ta có thể tự tin rằng sự hiểu biết của chúng ta về thế giới (và bây giờ là máy móc của thế giới) là có giá trị và đang được cải thiện.
Một hệ sinh thái khoa học trong đó hệ thống AI đóng vai trò chủ chốt đặt ra những câu hỏi cơ bản về ý nghĩa và giá trị của quá trình này cũng như mức độ tin cậy mà chúng ta nên có đối với các nhà khoa học AI. Đây có phải là loại hệ sinh thái khoa học mà chúng ta mong muốn?
Sử dụng các mô hình ngôn ngữ lớn tổng quát (LLM) như mô hình đằng sau ChatGPT và các chatbot AI khác, hệ thống có thể động não, chọn ý tưởng đầy hứa hẹn, viết mã các thuật toán mới, vẽ kết quả và viết một bài báo tóm tắt thử nghiệm cũng như các phát hiện của nó, cùng với các tài liệu tham khảo. Sakana tuyên bố công cụ AI có thể thực hiện toàn bộ vòng đời của một thí nghiệm khoa học với chi phí chỉ 15 USD (khoảng 375 nghìn đồng) cho mỗi bài báo – thấp hơn chi phí cho bữa trưa của một nhà khoa học (theo tiêu chuẩn Mỹ - Châu Âu).
Đây là một số tuyên bố lớn. Họ có xếp chồng lên nhau không? Và ngay cả khi họ làm vậy, liệu đội quân các nhà khoa học AI đang tung ra các tài liệu nghiên cứu với tốc độ chóng mặt có thực sự là tin tốt cho khoa học?
Làm thế nào một máy tính có thể 'làm khoa học'
Rất nhiều khoa học được thực hiện một cách công khai và gần như tất cả kiến thức khoa học đều đã được viết ra ở đâu đó (nếu không chúng ta sẽ không có cách nào để “biết” nó). Hàng triệu bài báo khoa học được cung cấp miễn phí trực tuyến trong các kho như arXiv và PubMed.LLM được đào tạo với dữ liệu này nắm bắt ngôn ngữ khoa học và các mô hình của nó. Do đó, có lẽ không có gì đáng ngạc nhiên khi một LLM tổng quát có thể tạo ra thứ gì đó trông giống như một bài báo khoa học hay - nó đã thu thập nhiều ví dụ mà nó có thể sao chép.
Điều chưa rõ ràng là liệu hệ thống AI có thể tạo ra một bài báo khoa học thú vị hay không . Điều quan trọng là khoa học tốt đòi hỏi sự mới lạ.
Nhưng nó có thú vị không?
Các nhà khoa học không muốn được kể về những điều đã được biết đến. Đúng hơn, họ muốn học những điều mới, đặc biệt là những điều mới khác biệt đáng kể so với những gì đã biết. Điều này đòi hỏi sự đánh giá về phạm vi và giá trị của sự đóng góp.Hệ thống Sakana cố gắng giải quyết sự thú vị theo hai cách. Đầu tiên, nó “chấm điểm” các ý tưởng bài viết mới về sự tương đồng với nghiên cứu hiện có (được lập chỉ mục trong kho Semantic Scholar ). Bất cứ điều gì quá giống nhau sẽ bị loại bỏ.
Thứ hai, hệ thống của Sakana giới thiệu bước “đánh giá ngang hàng” – sử dụng LLM khác để đánh giá chất lượng và tính mới của bài báo được tạo ra. Một lần nữa, có rất nhiều ví dụ về đánh giá ngang hàng trực tuyến trên các trang web như openreview.net có thể hướng dẫn cách phê bình một bài báo. LLM cũng đã sử dụng những thứ này.
AI có thể đánh giá kém về kết quả đầu ra của AI
Phản hồi trái chiều về kết quả đầu ra của Sakana AI. Một số người đã mô tả nó tạo ra “ sự trượt dốc vô tận về mặt khoa học ”.
Ngay cả việc đánh giá kết quả đầu ra của chính hệ thống cũng đánh giá các bài báo đó yếu kém nhất. Điều này có thể sẽ được cải thiện khi công nghệ phát triển, nhưng câu hỏi liệu các bài báo khoa học tự động có giá trị hay không vẫn còn tồn tại.
Khả năng LLM đánh giá chất lượng nghiên cứu cũng là một câu hỏi mở. Công trình của riêng tôi (sắp được xuất bản trên Phương pháp tổng hợp nghiên cứu ) cho thấy LLM không giỏi trong việc đánh giá nguy cơ sai lệch trong các nghiên cứu y học, mặc dù điều này cũng có thể cải thiện theo thời gian.
Hệ thống của Sakana tự động hóa các khám phá trong nghiên cứu tính toán, dễ dàng hơn nhiều so với các loại hình khoa học khác yêu cầu thí nghiệm vật lý. Các thử nghiệm của Sakana được thực hiện bằng mã, đây cũng là văn bản có cấu trúc mà LLM có thể được đào tạo để tạo ra.
Công cụ AI hỗ trợ các nhà khoa học chứ không phải thay thế họ
Các nhà nghiên cứu AI đã phát triển các hệ thống hỗ trợ khoa học trong nhiều thập kỷ. Với khối lượng nghiên cứu được công bố khổng lồ, ngay cả việc tìm kiếm các ấn phẩm liên quan đến một câu hỏi khoa học cụ thể cũng có thể là một thách thức.
Các công cụ tìm kiếm chuyên dụng tận dụng AI để giúp các nhà khoa học tìm kiếm và tổng hợp công trình hiện có. Chúng bao gồm Semantic Scholar được đề cập ở trên, nhưng cũng có các hệ thống mới hơn như Elicit , Research Rabbit , scite và Consensus.
Các công cụ khai thác văn bản như PubTator đào sâu hơn vào các bài viết để xác định các điểm trọng tâm, chẳng hạn như các đột biến gen và bệnh tật cụ thể cũng như các mối quan hệ đã được thiết lập của chúng. Điều này đặc biệt hữu ích cho việc quản lý và tổ chức thông tin khoa học.
Học máy cũng đã được sử dụng để hỗ trợ tổng hợp và phân tích bằng chứng y tế trong các công cụ như Robot Reviewer . Các bản tóm tắt so sánh và đối chiếu các tuyên bố trong các bài báo của Scholarcy giúp thực hiện việc đánh giá tài liệu.
Tất cả những công cụ này đều nhằm mục đích giúp các nhà khoa học thực hiện công việc của mình hiệu quả hơn chứ không phải để thay thế họ.
Nghiên cứu AI có thể làm trầm trọng thêm các vấn đề hiện có
Mặc dù Sakana AI tuyên bố rằng họ không thấy vai trò của các nhà khoa học con người bị suy giảm, nhưng tầm nhìn của công ty về “một hệ sinh thái khoa học hoàn toàn do AI điều khiển” sẽ có ý nghĩa lớn đối với khoa học.
Một mối lo ngại là, nếu các bài báo do AI tạo ra tràn ngập tài liệu khoa học, các hệ thống AI trong tương lai có thể được đào tạo về đầu ra AI và trải qua quá trình sụp đổ mô hình . Điều này có nghĩa là họ có thể ngày càng trở nên kém hiệu quả trong việc đổi mới.
Tuy nhiên, những tác động đối với khoa học còn vượt xa những tác động đối với bản thân các hệ thống khoa học AI.
Đã có những tác nhân xấu trong khoa học, bao gồm cả “nhà máy giấy” sản xuất giấy giả . Vấn đề này sẽ chỉ trở nên tồi tệ hơn khi một bài báo khoa học có thể được sản xuất với chi phí 15 USD và lời nhắc ban đầu mơ hồ.
Nhu cầu kiểm tra lỗi trong hàng núi nghiên cứu được tạo ra tự động có thể nhanh chóng vượt quá năng lực của các nhà khoa học thực tế. Hệ thống đánh giá ngang hàng được cho là đã bị hỏng và việc đưa thêm nghiên cứu về chất lượng đáng ngờ vào hệ thống sẽ không giải quyết được vấn đề.
Khoa học về cơ bản dựa trên sự tin tưởng. Các nhà khoa học nhấn mạnh tính toàn vẹn của quy trình khoa học để chúng ta có thể tự tin rằng sự hiểu biết của chúng ta về thế giới (và bây giờ là máy móc của thế giới) là có giá trị và đang được cải thiện.
Một hệ sinh thái khoa học trong đó hệ thống AI đóng vai trò chủ chốt đặt ra những câu hỏi cơ bản về ý nghĩa và giá trị của quá trình này cũng như mức độ tin cậy mà chúng ta nên có đối với các nhà khoa học AI. Đây có phải là loại hệ sinh thái khoa học mà chúng ta mong muốn?
