Homelander The Seven
I will laser every f****** one of you!
Nghiên cứu mới đây cho thấy, trợ lý lập trình AI như GitHub Copilot có thể không mang lại sự tăng năng suất như mong đợi, thậm chí còn có thể khiến lập trình viên viết ra nhiều lỗi hơn.
Uplevel, một công ty phân tích dữ liệu và hiệu suất cho các nhóm kỹ thuật, đã thực hiện một nghiên cứu theo dõi khoảng 800 nhà phát triển, so sánh đầu ra của họ có và không có trợ lý lập trình GitHub Copilot trong khoảng thời gian ba tháng. Điều đáng ngạc nhiên là, khi đo lường các chỉ số quan trọng như thời gian chu kỳ yêu cầu kéo và sản lượng, Uplevel không thấy bất kỳ cải thiện đáng kể nào đối với những người sử dụng Copilot.
Matt Hoffman, nhà phân tích dữ liệu tại Uplevel, giải thích với tạp chí CIO rằng ban đầu nhóm của họ nghĩ rằng các nhà phát triển sẽ có thể viết nhiều mã hơn và tỷ lệ lỗi có thể thực sự giảm xuống vì các nhà phát triển đang sử dụng các công cụ AI để giúp xem xét mã trước khi gửi nó. Nhưng phát hiện của họ đã phủ nhận những kỳ vọng đó.
Trên thực tế, nghiên cứu cho thấy các nhà phát triển sử dụng Copilot đã gây ra nhiều lỗi hơn 41% trong mã của họ, theo CIO. Uplevel cũng không thấy bằng chứng nào cho thấy trợ lý AI đang giúp ngăn ngừa kiệt sức cho nhà phát triển.
Những tiết lộ này phản bác lại tuyên bố từ các nhà sản xuất của Copilot tại GitHub và những người ủng hộ công cụ lập trình AI khác về sự tăng năng suất lớn. Một nghiên cứu do GitHub tài trợ trước đó cho rằng các nhà phát triển viết mã nhanh hơn 55% với sự trợ giúp của Copilot.
Trên thực tế, trải nghiệm với trợ lý lập trình AI cho đến nay rất khác nhau. Tại công ty phần mềm tùy chỉnh Gehtsoft USA, Giám đốc điều hành Ivan Gekht cho CIO biết rằng họ đã thấy mã do AI tạo ra khó hiểu và gỡ lỗi, khiến việc đơn giản viết lại từ đầu đôi khi hiệu quả hơn. Một nghiên cứu từ năm ngoái cho thấy ChatGPT đã trả lời sai hơn một nửa số câu hỏi lập trình dường như ủng hộ quan điểm của ông ấy, mặc dù chatbot này đã được cải thiện đáng kể kể từ đó với nhiều bản cập nhật.
Gekht cho biết thêm rằng phát triển phần mềm là "90% chức năng của não bộ - hiểu các yêu cầu, thiết kế hệ thống và xem xét các hạn chế và giới hạn", trong khi việc chuyển đổi tất cả điều này thành mã là phần đơn giản hơn của công việc.
Tuy nhiên, tại nhà cung cấp đám mây Innovative Solutions, Giám đốc công nghệ Travis Rehl đã báo cáo kết quả tuyệt vời, với năng suất của nhà phát triển tăng lên gấp ba lần nhờ các công cụ như Claude Dev và Copilot. Những báo cáo trái ngược nhau nhấn mạnh rằng có lẽ chúng ta vẫn đang ở giai đoạn đầu đối với trợ lý lập trình AI. Nhưng với việc các công cụ phát triển nhanh chóng, ai biết được chúng sẽ đi về đâu trong tương lai?
Uplevel, một công ty phân tích dữ liệu và hiệu suất cho các nhóm kỹ thuật, đã thực hiện một nghiên cứu theo dõi khoảng 800 nhà phát triển, so sánh đầu ra của họ có và không có trợ lý lập trình GitHub Copilot trong khoảng thời gian ba tháng. Điều đáng ngạc nhiên là, khi đo lường các chỉ số quan trọng như thời gian chu kỳ yêu cầu kéo và sản lượng, Uplevel không thấy bất kỳ cải thiện đáng kể nào đối với những người sử dụng Copilot.
Matt Hoffman, nhà phân tích dữ liệu tại Uplevel, giải thích với tạp chí CIO rằng ban đầu nhóm của họ nghĩ rằng các nhà phát triển sẽ có thể viết nhiều mã hơn và tỷ lệ lỗi có thể thực sự giảm xuống vì các nhà phát triển đang sử dụng các công cụ AI để giúp xem xét mã trước khi gửi nó. Nhưng phát hiện của họ đã phủ nhận những kỳ vọng đó.
Trên thực tế, nghiên cứu cho thấy các nhà phát triển sử dụng Copilot đã gây ra nhiều lỗi hơn 41% trong mã của họ, theo CIO. Uplevel cũng không thấy bằng chứng nào cho thấy trợ lý AI đang giúp ngăn ngừa kiệt sức cho nhà phát triển.
Những tiết lộ này phản bác lại tuyên bố từ các nhà sản xuất của Copilot tại GitHub và những người ủng hộ công cụ lập trình AI khác về sự tăng năng suất lớn. Một nghiên cứu do GitHub tài trợ trước đó cho rằng các nhà phát triển viết mã nhanh hơn 55% với sự trợ giúp của Copilot.
Trên thực tế, trải nghiệm với trợ lý lập trình AI cho đến nay rất khác nhau. Tại công ty phần mềm tùy chỉnh Gehtsoft USA, Giám đốc điều hành Ivan Gekht cho CIO biết rằng họ đã thấy mã do AI tạo ra khó hiểu và gỡ lỗi, khiến việc đơn giản viết lại từ đầu đôi khi hiệu quả hơn. Một nghiên cứu từ năm ngoái cho thấy ChatGPT đã trả lời sai hơn một nửa số câu hỏi lập trình dường như ủng hộ quan điểm của ông ấy, mặc dù chatbot này đã được cải thiện đáng kể kể từ đó với nhiều bản cập nhật.
Gekht cho biết thêm rằng phát triển phần mềm là "90% chức năng của não bộ - hiểu các yêu cầu, thiết kế hệ thống và xem xét các hạn chế và giới hạn", trong khi việc chuyển đổi tất cả điều này thành mã là phần đơn giản hơn của công việc.
Tuy nhiên, tại nhà cung cấp đám mây Innovative Solutions, Giám đốc công nghệ Travis Rehl đã báo cáo kết quả tuyệt vời, với năng suất của nhà phát triển tăng lên gấp ba lần nhờ các công cụ như Claude Dev và Copilot. Những báo cáo trái ngược nhau nhấn mạnh rằng có lẽ chúng ta vẫn đang ở giai đoạn đầu đối với trợ lý lập trình AI. Nhưng với việc các công cụ phát triển nhanh chóng, ai biết được chúng sẽ đi về đâu trong tương lai?
