Khả năng của ChatGPT cung cấp câu trả lời cho bất kỳ câu hỏi nào về kỹ thuật phần mềm vào bất kỳ thời điểm nào là một nguồn tài liệu hữu ích. Tuy nhiên, lưu ý rằng một nghiên cứu mới cho thấy bạn có thể không nên sử dụng ChatGPT cho các đề xuất về kỹ thuật phần mềm.
Trước khi các chatbot AI ra đời và bùng nổ từ cuối năm ngoái, Stack Overflow là nguồn tài liệu mà các lập trình viên thường tìm đến khi cần tư vấn cho dự án của họ, với một mô hình câu hỏi và trả lời tương tự như ChatGPT.
Tuy nhiên, với Stack Overflow, bạn phải đợi đến khi có người trả lời câu hỏi trong khi với ChatGPT thì không cần.
Kết quả là, nhiều kỹ sư phần mềm và lập trình viên đã sử dụng ChatGPT để đặt câu hỏi. Vì không có dữ liệu cho thấy ChatGPT hiệu quả như thế nào trong việc trả lời các loại đề xuất như vậy, một nghiên cứu mới tại Đại học Purdue đã điều tra vấn đề này.
Để tìm hiểu khả năng hiệu quả của ChatGPT trong việc trả lời các đề xuất về kỹ thuật phần mềm, các nhà nghiên cứu đã cung cấp 517 câu hỏi từ Stack Overflow cho ChatGPT và xem xét tính chính xác và chất lượng của những câu trả lời đó. Kết quả cho thấy trong số 512 câu hỏi, 259 (52%) câu trả lời của ChatGPT là sai và chỉ có 248 (48%) câu trả lời đúng. Hơn nữa, có tới 77% câu trả lời dài dòng.
Mặc dù độ chính xác của các câu trả lời thấp, kết quả cũng cho thấy 65% thời gian các câu trả lời đều bao quát và đề cập đến tất cả khía cạnh của câu hỏi.
Để phân tích thêm chất lượng của các câu trả lời từ ChatGPT, các nhà nghiên cứu đã hỏi ý kiến của 12 người tham gia có các mức độ chuyên môn lập trình khác nhau về các câu trả lời. Mặc dù các người tham gia ưa thích các câu trả lời từ Stack Overflow hơn so với ChatGPT trong nhiều danh mục khác nhau, như thể hiện bởi biểu đồ, họ đã không thể định rõ đúng sai trong các câu trả lời do ChatGPT tạo ra 39,34% thời gian. Theo nghiên cứu, các câu trả lời từ ChatGPT được diễn đạt rõ ràng đã khiến người dùng bỏ qua thông tin sai trong các câu trả lời.
"Người dùng bỏ qua thông tin sai trong các câu trả lời của ChatGPT (39,34% thời gian) do tính toàn diện, sự diễn đạt tốt và cái nhìn giống con người trong các câu trả lời của ChatGPT", các tác giả viết. Việc tạo ra các câu trả lời có vẻ hợp lý nhưng sai là một vấn đề quan trọng của tất cả các chatbot vì nó tạo điều kiện cho việc lan truyền thông tin sai lệch. Ngoài nguy cơ đó, điểm độ chính xác thấp cũng đủ để bạn nên suy nghĩ lại việc sử dụng ChatGPT cho những loại đề xuất như vậy.
>> 'AI drift' là gì và tại sao nó lại khiến ChatGPT trở nên ngu ngốc?
Tuy nhiên, với Stack Overflow, bạn phải đợi đến khi có người trả lời câu hỏi trong khi với ChatGPT thì không cần.
Kết quả là, nhiều kỹ sư phần mềm và lập trình viên đã sử dụng ChatGPT để đặt câu hỏi. Vì không có dữ liệu cho thấy ChatGPT hiệu quả như thế nào trong việc trả lời các loại đề xuất như vậy, một nghiên cứu mới tại Đại học Purdue đã điều tra vấn đề này.
Để tìm hiểu khả năng hiệu quả của ChatGPT trong việc trả lời các đề xuất về kỹ thuật phần mềm, các nhà nghiên cứu đã cung cấp 517 câu hỏi từ Stack Overflow cho ChatGPT và xem xét tính chính xác và chất lượng của những câu trả lời đó. Kết quả cho thấy trong số 512 câu hỏi, 259 (52%) câu trả lời của ChatGPT là sai và chỉ có 248 (48%) câu trả lời đúng. Hơn nữa, có tới 77% câu trả lời dài dòng.
Mặc dù độ chính xác của các câu trả lời thấp, kết quả cũng cho thấy 65% thời gian các câu trả lời đều bao quát và đề cập đến tất cả khía cạnh của câu hỏi.
Để phân tích thêm chất lượng của các câu trả lời từ ChatGPT, các nhà nghiên cứu đã hỏi ý kiến của 12 người tham gia có các mức độ chuyên môn lập trình khác nhau về các câu trả lời. Mặc dù các người tham gia ưa thích các câu trả lời từ Stack Overflow hơn so với ChatGPT trong nhiều danh mục khác nhau, như thể hiện bởi biểu đồ, họ đã không thể định rõ đúng sai trong các câu trả lời do ChatGPT tạo ra 39,34% thời gian. Theo nghiên cứu, các câu trả lời từ ChatGPT được diễn đạt rõ ràng đã khiến người dùng bỏ qua thông tin sai trong các câu trả lời.
"Người dùng bỏ qua thông tin sai trong các câu trả lời của ChatGPT (39,34% thời gian) do tính toàn diện, sự diễn đạt tốt và cái nhìn giống con người trong các câu trả lời của ChatGPT", các tác giả viết. Việc tạo ra các câu trả lời có vẻ hợp lý nhưng sai là một vấn đề quan trọng của tất cả các chatbot vì nó tạo điều kiện cho việc lan truyền thông tin sai lệch. Ngoài nguy cơ đó, điểm độ chính xác thấp cũng đủ để bạn nên suy nghĩ lại việc sử dụng ChatGPT cho những loại đề xuất như vậy.
>> 'AI drift' là gì và tại sao nó lại khiến ChatGPT trở nên ngu ngốc?
