Thoại Viết Hoàng
Writer
ChatGPT đã được cho thi đấu với các sinh viên trong các bài đánh giá kế toán. Kết quả, sinh viên đạt điểm trung bình chung là 76,7% so với điểm của ChatGPT là 47,4%. Trên 11,3% câu hỏi, ChatGPT đạt điểm cao hơn mức trung bình của học sinh, đặc biệt tốt về AIS và kiểm toán. Nhưng bot AI đã làm kém hơn trong các đánh giá về thuế, tài chính và quản lý, có thể là do ChatGPT gặp khó khăn với các quy trình toán học cần thiết cho loại thứ hai.
"Khi công nghệ này lần đầu tiên xuất hiện, mọi người đều lo lắng rằng sinh viên sẽ sử dụng nó để gian lận", David Wood, tác giả chính của nghiên cứu, giáo sư kế toán của BYU cho biết. "Khả năng gian lận luôn tồn tại. Vì vậy, chúng tôi đang cố gắng tập trung vào những gì chúng tôi có thể làm với công nghệ này mà trước đây chúng tôi không thể làm để cải thiện quy trình giảng dạy cho giảng viên và quy trình học tập cho sinh viên".
Kể từ khi ra mắt vào tháng 11/2022, ChatGPT đã trở thành nền tảng công nghệ phát triển nhanh nhất từ trước đến nay. Để đối phó với cuộc tranh luận gay gắt về cách các mô hình như ChatGPT tham gia vào giáo dục, Wood đã quyết định tuyển dụng càng nhiều giáo sư càng tốt để xem AI cạnh tranh với các sinh viên kế toán đại học thực tế như thế nào.
Quảng cáo tuyển dụng đồng tác giả của ông bùng nổ trên mạng xã hội: 327 đồng tác giả từ 186 tổ chức giáo dục ở 14 quốc gia đã tham gia nghiên cứu, đóng góp 25.181 câu hỏi kiểm tra kế toán lớp học. Họ cũng tuyển dụng các sinh viên BYU chưa tốt nghiệp (bao gồm cả con gái của Wood, Jessica) để cung cấp 2.268 câu hỏi ngân hàng bài kiểm tra sách giáo khoa khác cho ChatGPT. Các câu hỏi bao gồm hệ thống thông tin kế toán (AIS), kiểm toán, kế toán tài chính, kế toán quản trị và thuế, và đa dạng về độ khó và loại (đúng/sai, trắc nghiệm, câu trả lời ngắn, v.v...).
Mặc dù hiệu suất của ChatGPT rất ấn tượng, nhưng các sinh viên đã thể hiện tốt hơn. Học sinh đạt điểm trung bình chung là 76,7%, so với điểm của ChatGPT là 47,4%. Trên 11,3% câu hỏi, ChatGPT đạt điểm cao hơn mức trung bình của học sinh, đặc biệt tốt về AIS và kiểm toán. Nhưng bot AI đã làm kém hơn trong các đánh giá về thuế, tài chính và quản lý, có thể là do ChatGPT gặp khó khăn với các quy trình toán học cần thiết cho loại thứ hai.
Khi nói đến loại câu hỏi, ChatGPT làm tốt hơn ở câu hỏi đúng/sai (đúng 68,7%) và câu hỏi trắc nghiệm (59,5%), nhưng gặp khó khăn với các câu hỏi có câu trả lời ngắn (từ 28,7% đến 39,1%). Nói chung, các câu hỏi bậc cao khó trả lời hơn đối với ChatGPT. Trên thực tế, đôi khi ChatGPT sẽ cung cấp các mô tả bằng văn bản có thẩm quyền cho các câu trả lời sai hoặc trả lời cùng một câu hỏi theo các cách khác nhau.
"Nó không hoàn hảo; bạn sẽ không sử dụng nó cho mọi thứ", Jessica Wood, hiện là sinh viên năm nhất tại BYU, cho biết. "Cố gắng học chỉ bằng cách sử dụng ChatGPT là một việc làm ngu ngốc".
Các nhà nghiên cứu cũng phát hiện ra một số xu hướng hấp dẫn khác thông qua nghiên cứu, bao gồm:
- ChatGPT không phải lúc nào cũng nhận ra khi nó đang làm toán và mắc các lỗi vô nghĩa như cộng hai số trong một bài toán trừ hoặc chia các số không chính xác.
- ChatGPT thường cung cấp giải thích cho câu trả lời của nó, ngay cả khi chúng không chính xác. Những lần khác, các mô tả của ChatGPT là chính xác, nhưng sau đó nó sẽ tiến hành chọn sai câu trả lời trắc nghiệm.
- ChatGPT đôi khi tạo ra sự thật. Ví dụ: khi cung cấp một tài liệu tham khảo, nó sẽ tạo ra một tài liệu tham khảo giống như thật hoàn toàn là bịa đặt. Tác phẩm và đôi khi các tác giả thậm chí không tồn tại.
Điều đó nói rằng, các tác giả hoàn toàn mong đợi GPT-4 sẽ cải thiện theo cấp số nhân đối với các câu hỏi kế toán đặt ra trong nghiên cứu của họ và các vấn đề được đề cập ở trên. Điều họ thấy hứa hẹn nhất là cách chatbot có thể giúp cải thiện việc dạy và học, bao gồm khả năng thiết kế và kiểm tra bài tập, hoặc có thể được sử dụng để soạn thảo các phần của dự án.
Đồng tác giả nghiên cứu và giáo sư kế toán BYU, Melissa Larson cho biết: “Đó là cơ hội để suy nghĩ xem chúng ta có đang dạy thông tin giá trị gia tăng hay không. "Đây là một sự gián đoạn và chúng tôi cần đánh giá xem chúng tôi sẽ đi đâu từ đây. Tất nhiên, tôi vẫn sẽ có các hỗ trợ kỹ thuật, nhưng điều này sẽ buộc chúng tôi phải sử dụng chúng theo những cách khác nhau".
Những người đang tìm hiểu tại Đại học Brigham Young University (BYU - Bang Utah, Mỹ) và 186 trường đại học khác muốn biết công nghệ của OpenAI sẽ đạt kết quả như thế nào trong các kỳ thi kế toán. Vì vậy, họ đã thử nghiệm với phiên bản gốc ChatGPT. Các nhà nghiên cứu nói rằng mặc dù ChatGPT vẫn còn nhiều việc phải làm trong lĩnh vực kế toán, nhưng nó là một công cụ thay đổi cuộc chơi sẽ thay đổi cách mọi người dạy và học - theo hướng tốt hơn.
Kể từ khi ra mắt vào tháng 11/2022, ChatGPT đã trở thành nền tảng công nghệ phát triển nhanh nhất từ trước đến nay. Để đối phó với cuộc tranh luận gay gắt về cách các mô hình như ChatGPT tham gia vào giáo dục, Wood đã quyết định tuyển dụng càng nhiều giáo sư càng tốt để xem AI cạnh tranh với các sinh viên kế toán đại học thực tế như thế nào.
Quảng cáo tuyển dụng đồng tác giả của ông bùng nổ trên mạng xã hội: 327 đồng tác giả từ 186 tổ chức giáo dục ở 14 quốc gia đã tham gia nghiên cứu, đóng góp 25.181 câu hỏi kiểm tra kế toán lớp học. Họ cũng tuyển dụng các sinh viên BYU chưa tốt nghiệp (bao gồm cả con gái của Wood, Jessica) để cung cấp 2.268 câu hỏi ngân hàng bài kiểm tra sách giáo khoa khác cho ChatGPT. Các câu hỏi bao gồm hệ thống thông tin kế toán (AIS), kiểm toán, kế toán tài chính, kế toán quản trị và thuế, và đa dạng về độ khó và loại (đúng/sai, trắc nghiệm, câu trả lời ngắn, v.v...).
Mặc dù hiệu suất của ChatGPT rất ấn tượng, nhưng các sinh viên đã thể hiện tốt hơn. Học sinh đạt điểm trung bình chung là 76,7%, so với điểm của ChatGPT là 47,4%. Trên 11,3% câu hỏi, ChatGPT đạt điểm cao hơn mức trung bình của học sinh, đặc biệt tốt về AIS và kiểm toán. Nhưng bot AI đã làm kém hơn trong các đánh giá về thuế, tài chính và quản lý, có thể là do ChatGPT gặp khó khăn với các quy trình toán học cần thiết cho loại thứ hai.
Khi nói đến loại câu hỏi, ChatGPT làm tốt hơn ở câu hỏi đúng/sai (đúng 68,7%) và câu hỏi trắc nghiệm (59,5%), nhưng gặp khó khăn với các câu hỏi có câu trả lời ngắn (từ 28,7% đến 39,1%). Nói chung, các câu hỏi bậc cao khó trả lời hơn đối với ChatGPT. Trên thực tế, đôi khi ChatGPT sẽ cung cấp các mô tả bằng văn bản có thẩm quyền cho các câu trả lời sai hoặc trả lời cùng một câu hỏi theo các cách khác nhau.
"Nó không hoàn hảo; bạn sẽ không sử dụng nó cho mọi thứ", Jessica Wood, hiện là sinh viên năm nhất tại BYU, cho biết. "Cố gắng học chỉ bằng cách sử dụng ChatGPT là một việc làm ngu ngốc".
Các nhà nghiên cứu cũng phát hiện ra một số xu hướng hấp dẫn khác thông qua nghiên cứu, bao gồm:
- ChatGPT không phải lúc nào cũng nhận ra khi nó đang làm toán và mắc các lỗi vô nghĩa như cộng hai số trong một bài toán trừ hoặc chia các số không chính xác.
- ChatGPT thường cung cấp giải thích cho câu trả lời của nó, ngay cả khi chúng không chính xác. Những lần khác, các mô tả của ChatGPT là chính xác, nhưng sau đó nó sẽ tiến hành chọn sai câu trả lời trắc nghiệm.
- ChatGPT đôi khi tạo ra sự thật. Ví dụ: khi cung cấp một tài liệu tham khảo, nó sẽ tạo ra một tài liệu tham khảo giống như thật hoàn toàn là bịa đặt. Tác phẩm và đôi khi các tác giả thậm chí không tồn tại.
Điều đó nói rằng, các tác giả hoàn toàn mong đợi GPT-4 sẽ cải thiện theo cấp số nhân đối với các câu hỏi kế toán đặt ra trong nghiên cứu của họ và các vấn đề được đề cập ở trên. Điều họ thấy hứa hẹn nhất là cách chatbot có thể giúp cải thiện việc dạy và học, bao gồm khả năng thiết kế và kiểm tra bài tập, hoặc có thể được sử dụng để soạn thảo các phần của dự án.
Đồng tác giả nghiên cứu và giáo sư kế toán BYU, Melissa Larson cho biết: “Đó là cơ hội để suy nghĩ xem chúng ta có đang dạy thông tin giá trị gia tăng hay không. "Đây là một sự gián đoạn và chúng tôi cần đánh giá xem chúng tôi sẽ đi đâu từ đây. Tất nhiên, tôi vẫn sẽ có các hỗ trợ kỹ thuật, nhưng điều này sẽ buộc chúng tôi phải sử dụng chúng theo những cách khác nhau".
