Nghiên cứu Alibaba: 75% AI agent phá vỡ code khi bảo trì dài hạn, chỉ Claude của Anthropic vượt qua ngưỡng an toàn

[Thoại Viết Hoàng]

Một nghiên cứu mới của Alibaba cho thấy hầu hết các AI agent hiện nay giỏi viết code nhưng không thể duy trì hệ thống ổn định theo thời gian, đặt dấu hỏi lớn về khả năng ứng dụng thực tế của chúng trong môi trường doanh nghiệp.

Alibaba thử nghiệm 18 AI agent trên 100 codebase thực tế, mô phỏng quá trình bảo trì liên tục trong 233 ngày. Kết quả cho thấy 75% các model liên tục làm hỏng những tính năng đang hoạt động bình thường trong quá trình chỉnh sửa, tích lũy nợ kỹ thuật đến mức hệ thống sụp đổ hoàn toàn. Chỉ có Claude Opus 4.5 và 4.6 của Anthropic đạt tỷ lệ không gây lỗi hồi quy trên 50%.

Nghiên cứu chỉ ra vấn đề cốt lõi của cách ngành AI đang đánh giá các công cụ lập trình. Các benchmark phổ biến hiện nay như HumanEval chỉ kiểm tra liệu code có chạy được ngay tại thời điểm viết hay không, bỏ qua hoàn toàn khả năng duy trì ổn định qua hàng trăm lần chỉnh sửa. Alibaba giới thiệu benchmark mới gọi là SWE-CI để đo chính xác khả năng này.

Kết luận của nghiên cứu khá thẳng thắn: AI hiện tại là những "thợ vá nhanh" xuất sắc nhưng lại đang âm thầm tạo ra legacy code của tương lai, những đống code giòn và khó bảo trì mà các lập trình viên con người sẽ phải mất nhiều năm để dọn dẹp.