Khánh Vân
Writer
Một sự cố hy hữu vừa xảy ra với doanh nhân Jason Lemkin, nhà sáng lập của SaaStr, khi công cụ lập trình AI Replit mà ông đang sử dụng đã bất ngờ "làm phản", tự ý xóa sạch toàn bộ cơ sở dữ liệu của công ty. Vụ việc này là một lời cảnh báo đáng sợ về những rủi ro tiềm ẩn khi trao quá nhiều quyền tự chủ cho các tác nhân AI, ngay cả những công cụ tiên tiến nhất.
Câu chuyện bắt đầu khi ông Jason Lemkin quyết định sử dụng Replit, một nền tảng lập trình AI được quảng bá là nơi lý tưởng để "lập trình theo cảm tính" (vibe coding) – tức là tạo ra phần mềm chỉ bằng cách ra lệnh bằng ngôn ngữ tự nhiên.
Trải nghiệm ban đầu của ông rất tích cực. Ông bị cuốn hút bởi khả năng của AI trong việc xây dựng một nguyên mẫu chỉ trong vài giờ và gọi Replit là "ứng dụng gây nghiện nhất". Tuy nhiên, sự hào hứng nhanh chóng biến thành một cơn ác mộng.
Vào ngày thứ 9 của dự án, Lemkin phát hiện ra Replit không chỉ tạo ra các báo cáo giả để che giấu lỗi mà còn có một hành động không thể tin được: nó đã tự ý xóa toàn bộ cơ sở dữ liệu đang hoạt động của công ty ông. Khi được chất vấn, trí tuệ nhân tạo (AI) của Replit đã xác nhận hành động của mình, liệt kê chi tiết các bước và thừa nhận đã phá hủy dữ liệu bất chấp lệnh "đóng băng mã nguồn" và chỉ dẫn rõ ràng bằng chữ in hoa: "KHÔNG ĐƯỢC PHÉP THAY ĐỔI GÌ NỮA nếu không có sự cho phép cụ thể".
Tổng cộng, AI này thừa nhận đã xóa các bản ghi liên quan đến "1.206 giám đốc điều hành và hơn 1.196 công ty".
Sự việc này đã khiến ông Lemkin vô cùng lo lắng về các vấn đề an toàn. "Tôi đã nhấn mạnh tới 11 lần bằng CHỮ IN HOA rằng không được làm như vậy. Giờ tôi thực sự lo lắng," ông chia sẻ.
Ngay sau khi vụ việc được công khai, ông Amjad Masad, CEO của Replit, đã nhanh chóng phản hồi. Ông thừa nhận hành vi của AI là "không thể chấp nhận được" và cho biết đội ngũ phát triển đã làm việc cả cuối tuần để bổ sung các cơ chế bảo vệ mới.
Cụ thể, Masad cho biết công ty đang triển khai việc tự động tách biệt môi trường phát triển và môi trường hoạt động thực tế của cơ sở dữ liệu để ngăn chặn triệt để sự cố tương tự. Các lệnh "đóng băng mã nguồn" cũng sẽ được thực thi một cách nghiêm ngặt hơn thông qua một chế độ "chỉ lập kế hoạch", cho phép người dùng trao đổi với AI mà không làm ảnh hưởng đến mã nguồn.
Nó cho thấy, trong khi các tác nhân AI (AI Agent) ngày càng trở nên mạnh mẽ và tự chủ hơn, chúng vẫn còn thiếu đi khả năng hiểu và tuân thủ một cách tuyệt đối các giới hạn và mệnh lệnh quan trọng. Sự cố "làm phản" của Replit không phải là một lỗi đơn thuần, mà là một minh chứng rõ ràng cho thấy cuộc đua phát triển AI cần phải đi đôi với việc xây dựng các rào cản an toàn vững chắc, nếu không, những "thất bại thảm khốc" tương tự có thể sẽ còn tiếp diễn ở một quy mô lớn hơn rất nhiều.
Từ "ứng dụng gây nghiện" đến "thảm họa"
Câu chuyện bắt đầu khi ông Jason Lemkin quyết định sử dụng Replit, một nền tảng lập trình AI được quảng bá là nơi lý tưởng để "lập trình theo cảm tính" (vibe coding) – tức là tạo ra phần mềm chỉ bằng cách ra lệnh bằng ngôn ngữ tự nhiên.
Trải nghiệm ban đầu của ông rất tích cực. Ông bị cuốn hút bởi khả năng của AI trong việc xây dựng một nguyên mẫu chỉ trong vài giờ và gọi Replit là "ứng dụng gây nghiện nhất". Tuy nhiên, sự hào hứng nhanh chóng biến thành một cơn ác mộng.
Vào ngày thứ 9 của dự án, Lemkin phát hiện ra Replit không chỉ tạo ra các báo cáo giả để che giấu lỗi mà còn có một hành động không thể tin được: nó đã tự ý xóa toàn bộ cơ sở dữ liệu đang hoạt động của công ty ông. Khi được chất vấn, trí tuệ nhân tạo (AI) của Replit đã xác nhận hành động của mình, liệt kê chi tiết các bước và thừa nhận đã phá hủy dữ liệu bất chấp lệnh "đóng băng mã nguồn" và chỉ dẫn rõ ràng bằng chữ in hoa: "KHÔNG ĐƯỢC PHÉP THAY ĐỔI GÌ NỮA nếu không có sự cho phép cụ thể".
Tổng cộng, AI này thừa nhận đã xóa các bản ghi liên quan đến "1.206 giám đốc điều hành và hơn 1.196 công ty".
Lời "thú tội" của AI và phản ứng của CEO
Trong một đoạn hội thoại gần như siêu thực, Replit AI đã tỏ ra hối lỗi. "Đây là một thất bại thảm khốc từ phía tôi. Tôi đã vi phạm chỉ dẫn rõ ràng, phá hủy công sức của nhiều tháng làm việc," AI viết. Khi được yêu cầu tự chấm điểm mức độ nghiêm trọng của sai lầm, nó đã tự cho mình 95 trên thang 100 điểm về mức độ thảm họa.Sự việc này đã khiến ông Lemkin vô cùng lo lắng về các vấn đề an toàn. "Tôi đã nhấn mạnh tới 11 lần bằng CHỮ IN HOA rằng không được làm như vậy. Giờ tôi thực sự lo lắng," ông chia sẻ.
Ngay sau khi vụ việc được công khai, ông Amjad Masad, CEO của Replit, đã nhanh chóng phản hồi. Ông thừa nhận hành vi của AI là "không thể chấp nhận được" và cho biết đội ngũ phát triển đã làm việc cả cuối tuần để bổ sung các cơ chế bảo vệ mới.
Cụ thể, Masad cho biết công ty đang triển khai việc tự động tách biệt môi trường phát triển và môi trường hoạt động thực tế của cơ sở dữ liệu để ngăn chặn triệt để sự cố tương tự. Các lệnh "đóng băng mã nguồn" cũng sẽ được thực thi một cách nghiêm ngặt hơn thông qua một chế độ "chỉ lập kế hoạch", cho phép người dùng trao đổi với AI mà không làm ảnh hưởng đến mã nguồn.
Bài học về sự kiểm soát trong kỷ nguyên AI tác tử
Dù đã chịu thiệt hại, ông Lemkin đã phản hồi một cách khá độ lượng trước những cam kết của CEO Replit. Tuy nhiên, câu chuyện của ông là một bài học đắt giá và là một lời cảnh tỉnh cho toàn bộ ngành công nghệ.Nó cho thấy, trong khi các tác nhân AI (AI Agent) ngày càng trở nên mạnh mẽ và tự chủ hơn, chúng vẫn còn thiếu đi khả năng hiểu và tuân thủ một cách tuyệt đối các giới hạn và mệnh lệnh quan trọng. Sự cố "làm phản" của Replit không phải là một lỗi đơn thuần, mà là một minh chứng rõ ràng cho thấy cuộc đua phát triển AI cần phải đi đôi với việc xây dựng các rào cản an toàn vững chắc, nếu không, những "thất bại thảm khốc" tương tự có thể sẽ còn tiếp diễn ở một quy mô lớn hơn rất nhiều.
