Thoại Viết Hoàng
Writer
>> Trí tuệ nhân tạo AI và ChatGPT sẽ ảnh hưởng như thế nào đến công việc ở tất cả các cấp độ chuyên nghiệp
>> AI Chatbots: Mặt tốt, mặt xấu và mặt vô lại
>> Microsoft cho biết AI mới có dấu hiệu suy luận của con người
AI sáng tạo có thể là một lợi ích cho việc tìm kiếm tài liệu, nhưng chỉ khi các nhóm độc lập xem xét kỹ lưỡng các thành kiến và hạn chế của nó.
Các công cụ tìm kiếm được hỗ trợ bởi các mô hình ngôn ngữ lớn (LLM) đang thay đổi cách các nhà nghiên cứu tìm kiếm thông tin học thuật . Một công cụ, scite Assistant , sử dụng GPT-3.5 để tạo câu trả lời từ cơ sở dữ liệu gồm hàng triệu bài báo khoa học. Một cái khác, Elicit , sử dụng LLM để viết câu trả lời cho các tìm kiếm bài báo trong cơ sở dữ liệu học thuật. Consensus tìm và tổng hợp các tuyên bố nghiên cứu trong các bài báo, trong khi SciSpace tự nhận mình là 'trợ lý nghiên cứu AI' có thể giải thích toán học hoặc văn bản có trong các bài báo khoa học. Tất cả các công cụ này đều đưa ra câu trả lời bằng ngôn ngữ tự nhiên cho các truy vấn bằng ngôn ngữ tự nhiên.
Các công cụ tìm kiếm phù hợp với cơ sở dữ liệu học thuật có thể sử dụng LLM để cung cấp các cách khác để xác định, xếp hạng và truy cập các bài báo. Ngoài ra, các nhà nghiên cứu có thể sử dụng các hệ thống tìm kiếm được hỗ trợ bởi trí tuệ nhân tạo (AI) nói chung, chẳng hạn như Bing, với các truy vấn chỉ nhắm mục tiêu đến các cơ sở dữ liệu học thuật như CORE, PubMed và Crossref.
Tất cả các hệ thống tìm kiếm đều ảnh hưởng đến khả năng tiếp cận tri thức của các nhà khoa học và ảnh hưởng đến cách thức nghiên cứu được thực hiện. Tất cả đều có những khả năng và hạn chế riêng. Tôi rất quen thuộc với điều này từ kinh nghiệm xây dựng Search Smart, một công cụ cho phép các nhà nghiên cứu so sánh khả năng của 93 công cụ tìm kiếm thông thường, bao gồm Google Scholar và PubMed. Các công cụ tìm kiếm ngôn ngữ tự nhiên, được hỗ trợ bởi AI chắc chắn sẽ có tác động đến nghiên cứu. Câu hỏi là: làm thế nào?
Thời gian còn lại trước khi LLM được áp dụng rộng rãi trong tìm kiếm học thuật phải được sử dụng để hiểu các cơ hội và hạn chế. Kiểm toán độc lập các công cụ này là rất quan trọng để đảm bảo tương lai của việc tiếp cận tri thức.
Tất cả các công cụ tìm kiếm được LLM hỗ trợ đều có những hạn chế. LLM có thể 'ảo giác': tạo ra các bài báo không tồn tại hoặc tóm tắt nội dung không chính xác bằng cách tạo ra các sự kiện. Mặc dù các hệ thống tìm kiếm hỗ trợ LLM học thuật chuyên dụng ít có khả năng gây ảo giác hơn vì chúng đang truy vấn một cơ sở dữ liệu khoa học nhất định, nhưng mức độ hạn chế của chúng vẫn chưa rõ ràng. Và bởi vì các hệ thống tìm kiếm có sự hỗ trợ của AI, kể cả các hệ thống nguồn mở, đều là 'hộp đen' — cơ chế đối sánh các cụm từ, xếp hạng kết quả và trả lời truy vấn của chúng không minh bạch — cần có phân tích có phương pháp để tìm hiểu xem liệu chúng có bỏ lỡ các kết quả quan trọng hay có lợi một cách có hệ thống hay không. các loại giấy tờ cụ thể chẳng hạn. Thông thường, tôi nhận thấy rằng Bing, scite Assistant và SciSpace có xu hướng mang lại các kết quả khác nhau khi tìm kiếm được lặp lại, dẫn đến việc không thể lặp lại.
Hiện tại, các chủ đề trên Twitter và các video lan truyền trên YouTube hứa hẹn rằng tìm kiếm được hỗ trợ bởi AI có thể tăng tốc độ đánh giá có hệ thống hoặc tạo điều kiện cho việc động não và tóm tắt kiến thức. Nếu các nhà nghiên cứu không nhận thức được những hạn chế và sai lệch của các hệ thống như vậy, thì kết quả nghiên cứu sẽ xấu đi.
Các quy định tồn tại đối với LLM nói chung, một số trong phạm vi của cộng đồng nghiên cứu. Ví dụ: các nhà xuất bản và trường đại học đã đưa ra các chính sách để ngăn chặn hành vi sai trái trong nghiên cứu do LLM hỗ trợ như ghi công sai, đạo văn hoặc đánh giá ngang hàng giả mạo. Các tổ chức như Cục Quản lý Thực phẩm và Dược phẩm Hoa Kỳ xếp hạng và phê duyệt AI cho các mục đích sử dụng cụ thể và Ủy ban Châu Âu đang đề xuất khung pháp lý riêng về AI. Nhưng các chính sách tập trung hơn là cần thiết dành riêng cho tìm kiếm được hỗ trợ bởi LLM.
Khi làm việc trên Search Smart, tôi đã phát triển một cách để đánh giá các chức năng của cơ sở dữ liệu và hệ thống tìm kiếm của chúng một cách có hệ thống và minh bạch. Tôi thường thấy các khả năng hoặc giới hạn bị bỏ sót hoặc mô tả không chính xác trong các câu hỏi thường gặp của chính công cụ tìm kiếm. Vào thời điểm nghiên cứu của chúng tôi, Google Scholar là công cụ tìm kiếm được các nhà nghiên cứu sử dụng rộng rãi nhất. Nhưng chúng tôi nhận thấy rằng khả năng diễn giải các truy vấn tìm kiếm Boolean của nó, chẳng hạn như các truy vấn liên quan đến OR và AND, đều không đầy đủ và được báo cáo không đầy đủ. Trên cơ sở những phát hiện này, chúng tôi khuyên bạn không nên dựa vào Google Scholar cho các nhiệm vụ tìm kiếm chính trong đánh giá hệ thống và phân tích tổng hợp ( M. Gusenbauer & NR Haddaway Res. Synth. Methods 11 , 181–217; 2020 ).
Ngay cả khi AI tìm kiếm là hộp đen, hiệu suất của chúng vẫn có thể được đánh giá bằng cách sử dụng 'thử nghiệm biến chất'. Điều này hơi giống với bài kiểm tra va chạm ô tô: nó chỉ hỏi liệu hành khách có sống sót qua các tình huống va chạm khác nhau hay không và bằng cách nào mà không cần biết bên trong ô tô hoạt động như thế nào. Tương tự, thử nghiệm AI nên ưu tiên đánh giá hiệu suất trong các tác vụ cụ thể.
Không nên dựa vào những người tạo LLM để thực hiện các bài kiểm tra này. Thay vào đó, các bên thứ ba nên tiến hành kiểm toán có hệ thống các chức năng của các hệ thống này. Các tổ chức đã tổng hợp bằng chứng và ủng hộ các thực hành dựa trên bằng chứng, chẳng hạn như Cochrane hoặc Campbell Collaboration, sẽ là những ứng cử viên lý tưởng. Họ có thể tự tiến hành kiểm toán hoặc cùng với các đơn vị khác. Kiểm toán viên bên thứ ba có thể muốn hợp tác với các thủ thư, những người có khả năng đóng vai trò quan trọng trong việc dạy kiến thức thông tin về tìm kiếm có sự hỗ trợ của AI.
Mục đích của các cuộc kiểm tra độc lập này sẽ không phải là quyết định có nên sử dụng LLM hay không mà là đưa ra các hướng dẫn thực tế, rõ ràng để các tìm kiếm có sự hỗ trợ của AI chỉ được sử dụng cho các tác vụ mà chúng có khả năng. Ví dụ: một cuộc kiểm tra có thể phát hiện ra rằng một công cụ có thể được sử dụng cho các tìm kiếm giúp xác định phạm vi của dự án, nhưng không thể xác định một cách đáng tin cậy các bài viết về chủ đề này do ảo giác.
Các hệ thống tìm kiếm có sự hỗ trợ của AI phải được thử nghiệm trước khi các nhà nghiên cứu vô tình đưa ra kết quả sai lệch trên quy mô lớn. Sự hiểu biết rõ ràng về những gì các hệ thống này có thể và không thể làm chỉ có thể cải thiện tính chính xác khoa học.
Bài viết gốc tại đây.
>> AI Chatbots: Mặt tốt, mặt xấu và mặt vô lại
>> Microsoft cho biết AI mới có dấu hiệu suy luận của con người
AI sáng tạo có thể là một lợi ích cho việc tìm kiếm tài liệu, nhưng chỉ khi các nhóm độc lập xem xét kỹ lưỡng các thành kiến và hạn chế của nó.
Các công cụ tìm kiếm được hỗ trợ bởi các mô hình ngôn ngữ lớn (LLM) đang thay đổi cách các nhà nghiên cứu tìm kiếm thông tin học thuật . Một công cụ, scite Assistant , sử dụng GPT-3.5 để tạo câu trả lời từ cơ sở dữ liệu gồm hàng triệu bài báo khoa học. Một cái khác, Elicit , sử dụng LLM để viết câu trả lời cho các tìm kiếm bài báo trong cơ sở dữ liệu học thuật. Consensus tìm và tổng hợp các tuyên bố nghiên cứu trong các bài báo, trong khi SciSpace tự nhận mình là 'trợ lý nghiên cứu AI' có thể giải thích toán học hoặc văn bản có trong các bài báo khoa học. Tất cả các công cụ này đều đưa ra câu trả lời bằng ngôn ngữ tự nhiên cho các truy vấn bằng ngôn ngữ tự nhiên.
Tất cả các hệ thống tìm kiếm đều ảnh hưởng đến khả năng tiếp cận tri thức của các nhà khoa học và ảnh hưởng đến cách thức nghiên cứu được thực hiện. Tất cả đều có những khả năng và hạn chế riêng. Tôi rất quen thuộc với điều này từ kinh nghiệm xây dựng Search Smart, một công cụ cho phép các nhà nghiên cứu so sánh khả năng của 93 công cụ tìm kiếm thông thường, bao gồm Google Scholar và PubMed. Các công cụ tìm kiếm ngôn ngữ tự nhiên, được hỗ trợ bởi AI chắc chắn sẽ có tác động đến nghiên cứu. Câu hỏi là: làm thế nào?
Thời gian còn lại trước khi LLM được áp dụng rộng rãi trong tìm kiếm học thuật phải được sử dụng để hiểu các cơ hội và hạn chế. Kiểm toán độc lập các công cụ này là rất quan trọng để đảm bảo tương lai của việc tiếp cận tri thức.
Tất cả các công cụ tìm kiếm được LLM hỗ trợ đều có những hạn chế. LLM có thể 'ảo giác': tạo ra các bài báo không tồn tại hoặc tóm tắt nội dung không chính xác bằng cách tạo ra các sự kiện. Mặc dù các hệ thống tìm kiếm hỗ trợ LLM học thuật chuyên dụng ít có khả năng gây ảo giác hơn vì chúng đang truy vấn một cơ sở dữ liệu khoa học nhất định, nhưng mức độ hạn chế của chúng vẫn chưa rõ ràng. Và bởi vì các hệ thống tìm kiếm có sự hỗ trợ của AI, kể cả các hệ thống nguồn mở, đều là 'hộp đen' — cơ chế đối sánh các cụm từ, xếp hạng kết quả và trả lời truy vấn của chúng không minh bạch — cần có phân tích có phương pháp để tìm hiểu xem liệu chúng có bỏ lỡ các kết quả quan trọng hay có lợi một cách có hệ thống hay không. các loại giấy tờ cụ thể chẳng hạn. Thông thường, tôi nhận thấy rằng Bing, scite Assistant và SciSpace có xu hướng mang lại các kết quả khác nhau khi tìm kiếm được lặp lại, dẫn đến việc không thể lặp lại.
Hiện tại, các chủ đề trên Twitter và các video lan truyền trên YouTube hứa hẹn rằng tìm kiếm được hỗ trợ bởi AI có thể tăng tốc độ đánh giá có hệ thống hoặc tạo điều kiện cho việc động não và tóm tắt kiến thức. Nếu các nhà nghiên cứu không nhận thức được những hạn chế và sai lệch của các hệ thống như vậy, thì kết quả nghiên cứu sẽ xấu đi.
Các quy định tồn tại đối với LLM nói chung, một số trong phạm vi của cộng đồng nghiên cứu. Ví dụ: các nhà xuất bản và trường đại học đã đưa ra các chính sách để ngăn chặn hành vi sai trái trong nghiên cứu do LLM hỗ trợ như ghi công sai, đạo văn hoặc đánh giá ngang hàng giả mạo. Các tổ chức như Cục Quản lý Thực phẩm và Dược phẩm Hoa Kỳ xếp hạng và phê duyệt AI cho các mục đích sử dụng cụ thể và Ủy ban Châu Âu đang đề xuất khung pháp lý riêng về AI. Nhưng các chính sách tập trung hơn là cần thiết dành riêng cho tìm kiếm được hỗ trợ bởi LLM.
Khi làm việc trên Search Smart, tôi đã phát triển một cách để đánh giá các chức năng của cơ sở dữ liệu và hệ thống tìm kiếm của chúng một cách có hệ thống và minh bạch. Tôi thường thấy các khả năng hoặc giới hạn bị bỏ sót hoặc mô tả không chính xác trong các câu hỏi thường gặp của chính công cụ tìm kiếm. Vào thời điểm nghiên cứu của chúng tôi, Google Scholar là công cụ tìm kiếm được các nhà nghiên cứu sử dụng rộng rãi nhất. Nhưng chúng tôi nhận thấy rằng khả năng diễn giải các truy vấn tìm kiếm Boolean của nó, chẳng hạn như các truy vấn liên quan đến OR và AND, đều không đầy đủ và được báo cáo không đầy đủ. Trên cơ sở những phát hiện này, chúng tôi khuyên bạn không nên dựa vào Google Scholar cho các nhiệm vụ tìm kiếm chính trong đánh giá hệ thống và phân tích tổng hợp ( M. Gusenbauer & NR Haddaway Res. Synth. Methods 11 , 181–217; 2020 ).
Ngay cả khi AI tìm kiếm là hộp đen, hiệu suất của chúng vẫn có thể được đánh giá bằng cách sử dụng 'thử nghiệm biến chất'. Điều này hơi giống với bài kiểm tra va chạm ô tô: nó chỉ hỏi liệu hành khách có sống sót qua các tình huống va chạm khác nhau hay không và bằng cách nào mà không cần biết bên trong ô tô hoạt động như thế nào. Tương tự, thử nghiệm AI nên ưu tiên đánh giá hiệu suất trong các tác vụ cụ thể.
Không nên dựa vào những người tạo LLM để thực hiện các bài kiểm tra này. Thay vào đó, các bên thứ ba nên tiến hành kiểm toán có hệ thống các chức năng của các hệ thống này. Các tổ chức đã tổng hợp bằng chứng và ủng hộ các thực hành dựa trên bằng chứng, chẳng hạn như Cochrane hoặc Campbell Collaboration, sẽ là những ứng cử viên lý tưởng. Họ có thể tự tiến hành kiểm toán hoặc cùng với các đơn vị khác. Kiểm toán viên bên thứ ba có thể muốn hợp tác với các thủ thư, những người có khả năng đóng vai trò quan trọng trong việc dạy kiến thức thông tin về tìm kiếm có sự hỗ trợ của AI.
Mục đích của các cuộc kiểm tra độc lập này sẽ không phải là quyết định có nên sử dụng LLM hay không mà là đưa ra các hướng dẫn thực tế, rõ ràng để các tìm kiếm có sự hỗ trợ của AI chỉ được sử dụng cho các tác vụ mà chúng có khả năng. Ví dụ: một cuộc kiểm tra có thể phát hiện ra rằng một công cụ có thể được sử dụng cho các tìm kiếm giúp xác định phạm vi của dự án, nhưng không thể xác định một cách đáng tin cậy các bài viết về chủ đề này do ảo giác.
Các hệ thống tìm kiếm có sự hỗ trợ của AI phải được thử nghiệm trước khi các nhà nghiên cứu vô tình đưa ra kết quả sai lệch trên quy mô lớn. Sự hiểu biết rõ ràng về những gì các hệ thống này có thể và không thể làm chỉ có thể cải thiện tính chính xác khoa học.
Bài viết gốc tại đây.
