- Sự tiến bộ mà ChatGPT đạt được trong một kỳ thi chỉ trong ba tháng đã khiến một giáo sư kinh tế phải sửng sốt.
- Bryan Caplan của Đại học George Mason cho biết chatbot đã đạt điểm D trong bài kiểm tra kinh tế của anh ấy vào tháng Giêng.
- Anh ấy đã thử lại với bản cập nhật GPT-4 vào tuần trước và điểm của nó đã được cải thiện thành A.
Bryan Caplan, giáo sư kinh tế tại Đại học George Mason, nói với Insider rằng phiên bản mới nhất của ChatGPT giờ đây có thể là nguyên nhân gây ra vụ cá cược lớn đầu tiên mà ông từng thua.
Viết trong một bài đăng blog trên Substack "Bet On It" của mình vào tháng 1 năm 2019, Caplan cho biết anh ấy đã đưa ra các câu hỏi cho ChatGPT từ kỳ thi giữa kỳ mùa thu của mình.
Caplan cho biết các câu hỏi trong bài kiểm tra của ông kiểm tra sự hiểu biết của học sinh về kinh tế học hơn là yêu cầu họ đọc lại sách giáo khoa hoặc hoàn thành những bài tập về cơ bản là ghi nhớ.
Đây là nơi phiên bản cũ của ChatGPT bị lỗi. Bot đạt 31 trên 100 điểm có thể có trong bài kiểm tra của anh ấy, tương đương với điểm D và thấp hơn nhiều so với mức trung bình 50% của anh ấy.
Caplan nói với Insider rằng bot không hiểu các khái niệm cơ bản, chẳng hạn như nguyên tắc về lợi thế so sánh và tuyệt đối . Ông nói, các câu trả lời của nó cũng mang tính chính trị hơn là kinh tế.
"ChatGPT đã làm rất tốt việc bắt chước một sinh viên kinh tế GMU rất yếu", Caplan viết trong bài đăng trên blog vào tháng 1 của mình.
Anh ấy không phải là học giả duy nhất mà ChatGPT đã thất vọng. Trong khi vượt qua kỳ thi của Trường Kinh doanh Wharton vào tháng 1 , giáo sư của nó cho biết nó đã mắc "những lỗi đáng ngạc nhiên" trong các phép tính đơn giản.
Cuộc đánh cược lớn
Caplan thích cá cược . Trước đây anh ấy đã đặt 23 cược công khai và thắng tất cả. Chúng thường dành cho số tiền khiêm tốn khoảng 100 đô la và thường về các chủ đề kỹ thuật như tỷ lệ thất nghiệp dự đoán và chỉ số lạm phát.Anh ấy cũng suýt thắng một vụ cá cược năm 2008 rằng không quốc gia thành viên nào sẽ rời Liên minh Châu Âu trước năm 2020 — Vương quốc Anh rời vào tháng 1 năm đó.
Câu trả lời của ChatGPT khiến anh ấy choáng ngợp đến mức Caplan đặt cược rằng một mô hình AI sẽ không đạt điểm A ở sáu trong số bảy bài kiểm tra của anh ấy trước năm 2029.
Nhưng khi ChatGPT-4 ra mắt, sự tiến bộ của nó đã khiến Caplan choáng váng.Nó đạt 73% trong cùng một bài kiểm tra giữa kỳ, tương đương với điểm A và nằm trong số những người đạt điểm cao nhất trong lớp.
Nâng cấp tường phí của ChatGPTđã tìm cách khắc phục một số sự cố ban đầu với phiên bản beta, GPT-3.5. điều này có chủ đíchbao gồmlàm cho ChatGPT có nhiều khả năng trả lại phản hồi chính xác hơn 40%, cũng như giúp ChatGPT có thể xử lý các hướng dẫn chi tiết hơn.
Đối với Caplan, những cải tiến là rõ ràng. Bot đã đưa ra câu trả lời rõ ràng cho các câu hỏi của anh ấy, hiểu các nguyên tắc mà trước đây nó gặp khó khăn. Nó cũng đạt điểm tuyệt đối khi giải thích và đánh giá các khái niệm mà các nhà kinh tế học như Paul Krugman đã ủng hộ.
"Điều duy nhất tôi có thể nói là nó có vẻ tốt hơn rất nhiều," Caplan nói.
Caplan cho rằng dữ liệu đào tạo của ChatGPT có thể đã chọn bài đăng trên blog trước đây của anh ấy, nơi anh ấy giải thích câu trả lời của mình, nhưng các đồng nghiệp nói với anh ấy rằng điều này rất khó xảy ra.
Anh ấy nói thêm rằng anh ấy đã cung cấp cho bot các bài kiểm tra mới mà nó chưa từng thấy trước đây, nơi nó thậm chí còn làm tốt hơn mức 73% trước đó. Caplan nói: “Tôi đã rất tự mãn trong phán đoán của mình và tôi không còn tự mãn nữa.”
Caplan tự tin hơn rằng anh ấy sẽ thắng trong vụ cá cược liên quan đến AI tiếp theo của mình. Anh ấy đã cá cược với Eliezer Yudkowsky,một kẻ hủy diệt AI đã đấu với Sam Altman, người tạo ra ChatGPT,rằng AI sẽ dẫn đến ngày tận thế trước ngày 1 tháng 1 năm 2030.
“Tôi có thể sẽ thua vụ cá cược AI này, nhưng tôi hoàn toàn sẵn sàng thực hiện thêm nhiều vụ cá cược AI ngày tận thế nữa vì tôi nghĩ những người này mất trí rồi,” anh nói.
Khó kiểm tra
Các bot AI đã khiến các giám khảo phải đau đầu.Các giáo sư nói với Insider rằng đạo văn có thể khó chứng minhvới tài liệu từ ChatGPT vì không có bằng chứng cụ thể về hành vi sai trái.Caplan cho biết anh ấy đang nghĩ đến việc loại bỏ bài tập về nhà được phân loại sau sự trỗi dậy của ChatGPT. Anh ấy hy vọng thói quen thay đổi câu hỏi thường xuyên của mình sẽ đủ để ngăn học sinh học và đọc lại các câu trả lời của ChatGPT trong cài đặt bài kiểm tra.
Nguồn: Insider via Google Dịch
