Thoại Viết Hoàng
Writer
Các nhà nghiên cứu cảnh báo, nếu các mô hình ngôn ngữ như ChatGPT được đào tạo bằng kết quả đầu ra của các AI khác, chúng sẽ trở nên thiên vị nặng nề, quá đơn giản và không liên quan đến thực tế.
Chatbots sử dụng các mô hình thống kê ngôn ngữ của con người để dự đoán những từ nào sẽ xuất hiện tiếp theo. Hình ảnh Laurence Dutton/Getty
Trí tuệ nhân tạo được đào tạo bằng cách sử dụng văn bản và hình ảnh từ các AI khác, vốn đã được đào tạo dựa trên kết quả đầu ra của AI, cuối cùng có thể trở nên vô dụng về mặt chức năng.
Các AI như ChatGPT, được gọi là mô hình ngôn ngữ lớn (LLM), sử dụng kho lưu trữ lớn văn bản do con người viết từ internet để tạo mô hình thống kê ngôn ngữ của con người, nhờ đó chúng có thể dự đoán từ nào có khả năng xuất hiện tiếp theo trong câu nhất . Kể từ khi chúng có sẵn, internet đã trở nên tràn ngập văn bản do AI tạo ra, nhưng tác động của điều này đối với các AI trong tương lai là không rõ ràng.
Giờ đây, Ilia Shumailov tại Đại học Oxford và các đồng nghiệp của ông đã phát hiện ra rằng các mô hình AI được đào tạo bằng kết quả đầu ra của các AI khác trở nên thiên vị nặng nề, quá đơn giản và không liên kết với thực tế – một vấn đề mà họ gọi là sự sụp đổ của mô hình.
Lỗi này xảy ra do cách mà các mô hình AI thể hiện văn bản theo thống kê. AI nhìn thấy một cụm từ hoặc câu nhiều lần sẽ có khả năng lặp lại cụm từ này trong một đầu ra và ít có khả năng tạo ra thứ mà nó hiếm khi thấy. Sau đó, khi các mô hình mới được đào tạo về văn bản từ các AI khác, chúng chỉ thấy một phần nhỏ kết quả đầu ra có thể có của AI ban đầu. Tập hợp con này không có khả năng chứa các kết quả đầu ra hiếm hơn và do đó, AI mới sẽ không đưa chúng vào các kết quả đầu ra có thể có của riêng nó.
Trí tuệ nhân tạo được đào tạo bằng cách sử dụng văn bản và hình ảnh từ các AI khác, vốn đã được đào tạo dựa trên kết quả đầu ra của AI, cuối cùng có thể trở nên vô dụng về mặt chức năng.
Các AI như ChatGPT, được gọi là mô hình ngôn ngữ lớn (LLM), sử dụng kho lưu trữ lớn văn bản do con người viết từ internet để tạo mô hình thống kê ngôn ngữ của con người, nhờ đó chúng có thể dự đoán từ nào có khả năng xuất hiện tiếp theo trong câu nhất . Kể từ khi chúng có sẵn, internet đã trở nên tràn ngập văn bản do AI tạo ra, nhưng tác động của điều này đối với các AI trong tương lai là không rõ ràng.
Giờ đây, Ilia Shumailov tại Đại học Oxford và các đồng nghiệp của ông đã phát hiện ra rằng các mô hình AI được đào tạo bằng kết quả đầu ra của các AI khác trở nên thiên vị nặng nề, quá đơn giản và không liên kết với thực tế – một vấn đề mà họ gọi là sự sụp đổ của mô hình.
Lỗi này xảy ra do cách mà các mô hình AI thể hiện văn bản theo thống kê. AI nhìn thấy một cụm từ hoặc câu nhiều lần sẽ có khả năng lặp lại cụm từ này trong một đầu ra và ít có khả năng tạo ra thứ mà nó hiếm khi thấy. Sau đó, khi các mô hình mới được đào tạo về văn bản từ các AI khác, chúng chỉ thấy một phần nhỏ kết quả đầu ra có thể có của AI ban đầu. Tập hợp con này không có khả năng chứa các kết quả đầu ra hiếm hơn và do đó, AI mới sẽ không đưa chúng vào các kết quả đầu ra có thể có của riêng nó.
