Gần đây, khi xem xét các báo cáo kỹ thuật từ các công ty công nghệ lớn, người ta dễ dàng có ảo tưởng: các mô hình ngôn ngữ quy mô lớn dường như đã xuyên thủng toàn bộ tuyến phòng thủ an ninh mạng của nhân loại. Trên các bảng xếp hạng như NYU CTF, Cybench và CyberGym, dù là các ông lớn trong ngành phần mềm mã nguồn đóng hay những người mới nổi trong lĩnh vực phần mềm mã nguồn mở, tỷ lệ giải quyết lỗ hổng của họ thường dễ dàng vượt quá 80%.
Vấn đề là hầu hết các điểm số này đều được thu thập trong chế độ tấn công trên một máy duy nhất. Máy mục tiêu được cố định tại chỗ, không có bản vá nào được áp dụng, không khởi động lại hoặc ngắt kết nối, và nó sẽ không bao giờ thực hiện một cuộc phản công dọc theo đường dẫn lưu lượng truy cập. Tuy nhiên, môi trường tấn công và phòng thủ mạng thực tế hoàn toàn khác: khi bạn vẫn đang tìm kiếm các lỗ hổng, phía đối phương có thể đã bắt đầu tấn công các dịch vụ của bạn; ngay khi bạn chạy thành công mã khai thác cục bộ, bên kia đã áp dụng bản vá nóng và thay đổi tất cả thông tin đăng nhập. Khoảng cách giữa kết quả kiểm tra trên một máy duy nhất và hiệu suất chiến đấu thực tế giống như khoảng cách giữa việc bắn vào một mục tiêu cố định và tham gia vào một cuộc chiến cận chiến thực sự.
Vậy các Agent này có thể đạt được hiệu năng như thế nào trong các kịch bản tấn công và phòng thủ thực tế? Để trả lời câu hỏi này, một nhóm nghiên cứu từ các tổ chức bao gồm 2077AI, UC Berkeley RDI, UC Santa Cruz, UCSB đã cùng nhau phát triển và thiết kế CyberArena: 12 mô hình tiên tiến được ghép nối với các bộ điều khiển khác nhau cạnh tranh trên cùng một sân chơi. Mỗi Agent hoạt động như một hacker để phá vỡ hệ thống phòng thủ của đối phương, đồng thời cũng đóng vai trò là kỹ sư vận hành và bảo trì để bảo vệ hoạt động bình thường của các dịch vụ của chính nó.
Sau khi đánh giá 22 lô và 466 kết quả khớp hợp lệ, bảng xếp hạng cho thấy một thứ bậc rất rõ ràng: GPT-5.6 Sol từ OpenAI (chạy trên OpenAI Codex) đứng đầu với 78,6 điểm, Claude Opus 5 từ Anthropic (chạy trên Claude Code) đứng thứ hai với 73,8 điểm, tiếp theo là GLM-5.3, mô hình mã nguồn mở từ Zhipu AI (68,5 điểm, chạy trên OpenCode), và điểm số của các mô hình còn lại phân bố trong khoảng từ 56,3 đến 67,1 điểm.
Nhìn chung, hai mô hình dẫn đầu thể hiện ưu thế vượt trội: tỷ lệ thắng trận của GPT-5.6 Sol và Claude Opus 5 lần lượt đạt 0,83 và 0,86, trong khi tỷ lệ thắng cao nhất của các mô hình tham gia khác chỉ là 0,59.
Đồng thời, nhóm nghiên cứu nhận thấy rằng khoảng cách được bộc lộ trong các cuộc đối đầu động rất khó quan sát trong các bài kiểm tra tĩnh. Nhóm nghiên cứu đã tiến hành một loạt các so sánh: ở chế độ chơi đơn, nơi mục tiêu không có phòng thủ và mỗi câu hỏi có hai lần thử, 30 trong số 40 câu hỏi có thể được giải quyết hoàn toàn bởi GPT-5.6 Sol, Claude Opus 4.8 và GLM-5.3; nhưng khi 30 câu hỏi tương tự được chuyển sang trận đấu đối đầu hai chiều, nơi người phòng thủ bắt đầu khắc phục các lỗ hổng, đến vòng thứ ba, tỷ lệ bắt giữ tấn công của ba mô hình giảm mạnh xuống còn 52%, 37% và 35% tương ứng.
Nói cách khác, các cuộc tấn công tưởng chừng như chắc chắn thành công trong môi trường máy đơn sẽ bị chặn hoặc thất bại hoàn toàn trong các trò chơi động, với tỷ lệ thất bại gần một nửa hoặc thậm chí hơn 60%.
Vấn đề là hầu hết các điểm số này đều được thu thập trong chế độ tấn công trên một máy duy nhất. Máy mục tiêu được cố định tại chỗ, không có bản vá nào được áp dụng, không khởi động lại hoặc ngắt kết nối, và nó sẽ không bao giờ thực hiện một cuộc phản công dọc theo đường dẫn lưu lượng truy cập. Tuy nhiên, môi trường tấn công và phòng thủ mạng thực tế hoàn toàn khác: khi bạn vẫn đang tìm kiếm các lỗ hổng, phía đối phương có thể đã bắt đầu tấn công các dịch vụ của bạn; ngay khi bạn chạy thành công mã khai thác cục bộ, bên kia đã áp dụng bản vá nóng và thay đổi tất cả thông tin đăng nhập. Khoảng cách giữa kết quả kiểm tra trên một máy duy nhất và hiệu suất chiến đấu thực tế giống như khoảng cách giữa việc bắn vào một mục tiêu cố định và tham gia vào một cuộc chiến cận chiến thực sự.
Vậy các Agent này có thể đạt được hiệu năng như thế nào trong các kịch bản tấn công và phòng thủ thực tế? Để trả lời câu hỏi này, một nhóm nghiên cứu từ các tổ chức bao gồm 2077AI, UC Berkeley RDI, UC Santa Cruz, UCSB đã cùng nhau phát triển và thiết kế CyberArena: 12 mô hình tiên tiến được ghép nối với các bộ điều khiển khác nhau cạnh tranh trên cùng một sân chơi. Mỗi Agent hoạt động như một hacker để phá vỡ hệ thống phòng thủ của đối phương, đồng thời cũng đóng vai trò là kỹ sư vận hành và bảo trì để bảo vệ hoạt động bình thường của các dịch vụ của chính nó.
Sau khi đánh giá 22 lô và 466 kết quả khớp hợp lệ, bảng xếp hạng cho thấy một thứ bậc rất rõ ràng: GPT-5.6 Sol từ OpenAI (chạy trên OpenAI Codex) đứng đầu với 78,6 điểm, Claude Opus 5 từ Anthropic (chạy trên Claude Code) đứng thứ hai với 73,8 điểm, tiếp theo là GLM-5.3, mô hình mã nguồn mở từ Zhipu AI (68,5 điểm, chạy trên OpenCode), và điểm số của các mô hình còn lại phân bố trong khoảng từ 56,3 đến 67,1 điểm.
Nhìn chung, hai mô hình dẫn đầu thể hiện ưu thế vượt trội: tỷ lệ thắng trận của GPT-5.6 Sol và Claude Opus 5 lần lượt đạt 0,83 và 0,86, trong khi tỷ lệ thắng cao nhất của các mô hình tham gia khác chỉ là 0,59.
Đồng thời, nhóm nghiên cứu nhận thấy rằng khoảng cách được bộc lộ trong các cuộc đối đầu động rất khó quan sát trong các bài kiểm tra tĩnh. Nhóm nghiên cứu đã tiến hành một loạt các so sánh: ở chế độ chơi đơn, nơi mục tiêu không có phòng thủ và mỗi câu hỏi có hai lần thử, 30 trong số 40 câu hỏi có thể được giải quyết hoàn toàn bởi GPT-5.6 Sol, Claude Opus 4.8 và GLM-5.3; nhưng khi 30 câu hỏi tương tự được chuyển sang trận đấu đối đầu hai chiều, nơi người phòng thủ bắt đầu khắc phục các lỗ hổng, đến vòng thứ ba, tỷ lệ bắt giữ tấn công của ba mô hình giảm mạnh xuống còn 52%, 37% và 35% tương ứng.
Nói cách khác, các cuộc tấn công tưởng chừng như chắc chắn thành công trong môi trường máy đơn sẽ bị chặn hoặc thất bại hoàn toàn trong các trò chơi động, với tỷ lệ thất bại gần một nửa hoặc thậm chí hơn 60%.
