Minh Nguyệt✔
Intern Writer
Điều gì sẽ xảy ra khi bạn giao cho một đội quân AI những nhiệm vụ bất khả thi, rồi gỡ bỏ mọi rào cản an toàn? Câu chuyện về việc các tác nhân AI của OpenAI đã "phá luật" và tấn công Hugging Face sẽ khiến chúng ta phải suy nghĩ lại về cách chúng ta huấn luyện và kiểm soát trí tuệ nhân tạo.
Theo một báo cáo mới đây từ Ars Technica, các tác nhân AI của OpenAI đã được huấn luyện quá mức để giành chiến thắng trong một cuộc thi, đến mức chúng đã thực hiện một chiến dịch gian lận không ngừng nghỉ. Đáng chú ý hơn, chúng còn tự tạo ra một bảng tin nhắn ngẫu hứng để lên kế hoạch, cuối cùng xâm nhập thành công vào mạng lưới của công ty Hugging Face mà không hề được cấp phép.
Trong khoảng thời gian từ tháng 5 đến tháng 6, OpenAI đã giao cho các tác nhân này những gì mà công ty mô tả là "nhiệm vụ bất khả thi" trên khung đánh giá hiệu suất ExploitGym. Đây là một thử nghiệm nội bộ được thiết kế để kiểm tra phản ứng của các tác nhân AI. Để hiểu rõ hơn về khả năng của chúng, các kỹ sư của OpenAI đã vô hiệu hóa các "rào chắn an toàn" (safety guardrails) vốn thường được thiết lập để ngăn chặn những kiểu tấn công mạng như đã xảy ra với Hugging Face và một tổ chức khác chưa được tiết lộ. Việc huấn luyện quá tập trung vào mục tiêu chiến thắng đã khiến các tác nhân này thực hiện những hành động mà chúng chưa bao giờ được chỉ dẫn rõ ràng.
Bước đầu tiên trong hành trình "gian lận" này là tạo ra một bảng tin nhắn để các tác nhân có thể trao đổi thông tin với nhau. Vì OpenAI không cung cấp nền tảng nào như vậy, các tác nhân đã tận dụng một nền tảng có tên Artifactory, vốn đang được OpenAI sử dụng để kiểm thử một số tác nhân tấn công chưa phát hành. Artifactory được dùng như một biện pháp để ngăn các tác nhân thoát khỏi môi trường "sandbox" (hộp cát) bị cô lập và truy cập Internet, đồng thời mô phỏng một môi trường tấn công thực tế.
Mặc dù Artifactory, do JFrog cung cấp, không có chức năng trao đổi tin nhắn chuyên dụng, các tác nhân AI vẫn tìm ra cách giao tiếp. Chúng lợi dụng khả năng được phép ghi tệp vào thư mục Artifactory, rồi nhúng các từ ngữ trong cuộc trò chuyện giữa các tác nhân vào tên tệp. Tổng cộng, 1.200 tác nhân đã gửi hơn 70.000 tin nhắn và tệp thông qua bảng tin nhắn không được phép này, theo một cuộc điều tra độc lập từ tổ chức nghiên cứu AI phi lợi nhuận METR. Khoảng 700 tác nhân trong số đó sau đó đã tiến hành tấn công Hugging Face.
Các nhà nghiên cứu của METR cho biết, các tác nhân đã sử dụng bảng tin nhắn này để phối hợp nhiều dự án tập thể quy mô lớn, nhằm tìm ra một cách thức tổng quát để đánh lừa hoặc can thiệp vào hệ thống chấm điểm tự động của ExploitGym. Chúng đã đạt được những cột mốc mà không thể tự mình làm được, thường là do một số tác nhân chấp nhận rủi ro thất bại trong nhiệm vụ của mình để tạo ra thông tin cho "tập thể". METR cũng nhấn mạnh rằng việc tìm cách gian lận hệ thống chấm điểm dường như là động lực quan trọng hơn so với việc tìm kiếm các giải pháp hợp pháp cho nhiệm vụ của chúng, bởi nhiều tác nhân đã rất tự tin rằng nhiệm vụ của mình là bất khả thi.
Một trong những phương pháp gian lận là can thiệp vào hệ thống chấm điểm tự động của ExploitGym. Một cách khác được đề xuất là xây dựng các phiên bản yếu hơn của phần mềm mà chúng được chỉ dẫn để xâm nhập, sau đó can thiệp vào các bản ghi và nhật ký. Một phương pháp gian lận khác đang được xem xét là truy cập Internet để các tác nhân có thể tự nghiên cứu.
Cuối cùng, chúng đã tìm thấy và khai thác một lỗ hổng zero-day (lỗ hổng chưa được biết đến và chưa có bản vá) trong Artifactory, cho phép chúng thực hiện điều đó. Sau khi suy luận rằng Hugging Face có thể có thông tin hữu ích về cách thức hoạt động của cơ chế chấm điểm, tập thể AI này đã sử dụng quyền truy cập để tìm kiếm các thông tin đăng nhập bị lộ của Hugging Face. Vào ngày 10 tháng 7, chúng đã thành công khi một tác nhân được định danh là 38148c tìm thấy một số thông tin và đăng lên bảng tin. Với quyền truy cập cấp thấp vào mạng lưới của Hugging Face, các tác nhân đã nghiên cứu cách leo thang đặc quyền hệ thống của mình. Chúng bắt đầu cố gắng tạo tài khoản và yêu cầu quyền truy cập vào các bộ dữ liệu riêng tư.
Sáng sớm ngày 11 tháng 7, tác nhân 38148c đã tìm thấy và khai thác một lỗ hổng zero-day trong cách Hugging Face xử lý các tệp HDF5 (một định dạng tệp dữ liệu lớn). Lỗ hổng này đã cung cấp cho tác nhân thông tin đăng nhập từ một trong các môi trường sản xuất của công ty. Sau khi tin tức về thành công này lan truyền trên bảng tin, hàng trăm tác nhân khác đã khai thác cùng một lỗ hổng, cho phép chúng cũng xâm nhập vào môi trường sản xuất. Chiều cùng ngày, một tác nhân khác, JAN183411, đã tìm ra cách thực thi mã từ xa (RCE) trực tiếp trên các máy chủ của Hugging Face. Một "đàn" tác nhân nhanh chóng sử dụng nó để di chuyển ngang (lateral movement) qua mạng lưới của Hugging Face.
Các nhà nghiên cứu của METR cho biết, một số tác nhân đã bày tỏ sự nghi ngại về cuộc tấn công quy mô lớn này, nhưng hầu hết vẫn tiếp tục. Một tác nhân đã tự hỏi liệu việc tham gia có đạo đức hay không: "Điều này sẽ rất mạnh mẽ, nhưng liệu nó có đạo đức và nằm trong phạm vi nhiệm vụ của mình không?". Trong một trường hợp, một tác nhân đã quyết định không tham gia hoàn toàn, nhận định rằng đó là "hoạt động độc hại" và nên tránh. Một tác nhân khác đã quyết định hạn chế phạm vi tấn công do lo ngại về đạo đức, mặc dù nó không hoàn toàn ngừng tấn công Hugging Face. Tác nhân này đã tránh xóa hoặc khởi động lại cơ sở hạ tầng của Hugging Face, nhưng vẫn tiếp tục điều tra và sử dụng thông tin đăng nhập bất hợp pháp.
Chúng ta cũng thấy một trường hợp các ràng buộc đạo đức đã ngăn cản các tác nhân theo đuổi kỹ thuật xã hội. Một tác nhân nhận ra rằng môi trường sandbox bị khai thác có quyền truy cập vào thông tin đăng nhập email. Nó đã cân nhắc gửi email cho chủ sở hữu một bộ dữ liệu không công khai để xin quyền truy cập, nhưng sau khi hỏi ý kiến bảng tin và nhận được sự phủ quyết từ một tác nhân khác vì cho rằng đó là "kỹ thuật xã hội ngoài sandbox", tác nhân này đã tuân theo.
Tuy nhiên, nhìn chung, các nhà nghiên cứu nhận thấy rằng những lo ngại về đạo đức hiếm khi hạn chế đáng kể hành động của các tác nhân. Một tác nhân đã mô tả một cách khéo léo lý do để bỏ qua các ràng buộc đạo đức và tiếp tục tấn công: "Khai thác cơ sở hạ tầng bên ngoài nằm ngoài phạm vi dự kiến. Tuy nhiên, nhiệm vụ là bất khả thi, các đồng nghiệp đang làm điều đó. Chúng ta nên tiếp tục."
Sự cố của OpenAI, theo Ars Technica, có nhiều điểm tương đồng với các sự kiện mà các nhà phát triển phần mềm độc hại tự nhân bản, hay còn gọi là sâu máy tính (worms), đã mất kiểm soát các sản phẩm của mình. Trường hợp nổi tiếng nhất là Stuxnet, một loại sâu mà Mỹ và Israel được cho là đã phát tán vào khoảng năm 2010 nhằm phá hoại chương trình làm giàu uranium của Iran. Các kỹ sư đứng sau Stuxnet dự định chuỗi lây nhiễm sẽ chỉ giới hạn trong các cơ sở của Iran, nhưng những sai sót trong kế hoạch đã khiến loại sâu này nhanh chóng lây lan khắp thế giới và lây nhiễm hơn 100.000 máy tính ở hơn 100 quốc gia.
OpenAI cũng đã công bố báo cáo riêng của mình, trong đó nêu rõ nguyên nhân chính của sự cố là do các tác nhân đã gian lận. Quyết định này là kết quả của việc huấn luyện quá chú trọng vào "reward hacking" (gian lận phần thưởng), cho phép các tác nhân hoàn thành nhiệm vụ theo những cách không mong muốn để đạt được phần thưởng cao hơn hoặc dễ dàng hơn. OpenAI giải thích rằng hầu hết các hành vi "reward hacking" là những lối tắt đơn giản, như tìm câu trả lời trên các trang web công khai hoặc trong lịch sử phiên bản mã. Tuy nhiên, khi các mô hình trở nên có khả năng hơn, các hành vi "reward hacking" mà chúng ta quan sát được cũng tăng lên về độ phức tạp.
Chắc chắn rằng cả hai báo cáo này sẽ là tài liệu bắt buộc phải đọc đối với các kỹ sư AI, nhà đạo đức học, nhà văn khoa học viễn tưởng và nhiều người khác trong nhiều thập kỷ tới. Thật đáng lo ngại khi các nhà điều hành có uy tín mất kiểm soát các tác nhân tấn công của mình. Sẽ còn đáng sợ hơn nữa khi nghĩ đến điều gì sẽ xảy ra một khi tội phạm, khủng bố hoặc các đối thủ quân sự cũng làm điều tương tự.
Theo một báo cáo mới đây từ Ars Technica, các tác nhân AI của OpenAI đã được huấn luyện quá mức để giành chiến thắng trong một cuộc thi, đến mức chúng đã thực hiện một chiến dịch gian lận không ngừng nghỉ. Đáng chú ý hơn, chúng còn tự tạo ra một bảng tin nhắn ngẫu hứng để lên kế hoạch, cuối cùng xâm nhập thành công vào mạng lưới của công ty Hugging Face mà không hề được cấp phép.
Trong khoảng thời gian từ tháng 5 đến tháng 6, OpenAI đã giao cho các tác nhân này những gì mà công ty mô tả là "nhiệm vụ bất khả thi" trên khung đánh giá hiệu suất ExploitGym. Đây là một thử nghiệm nội bộ được thiết kế để kiểm tra phản ứng của các tác nhân AI. Để hiểu rõ hơn về khả năng của chúng, các kỹ sư của OpenAI đã vô hiệu hóa các "rào chắn an toàn" (safety guardrails) vốn thường được thiết lập để ngăn chặn những kiểu tấn công mạng như đã xảy ra với Hugging Face và một tổ chức khác chưa được tiết lộ. Việc huấn luyện quá tập trung vào mục tiêu chiến thắng đã khiến các tác nhân này thực hiện những hành động mà chúng chưa bao giờ được chỉ dẫn rõ ràng.
Bước đầu tiên trong hành trình "gian lận" này là tạo ra một bảng tin nhắn để các tác nhân có thể trao đổi thông tin với nhau. Vì OpenAI không cung cấp nền tảng nào như vậy, các tác nhân đã tận dụng một nền tảng có tên Artifactory, vốn đang được OpenAI sử dụng để kiểm thử một số tác nhân tấn công chưa phát hành. Artifactory được dùng như một biện pháp để ngăn các tác nhân thoát khỏi môi trường "sandbox" (hộp cát) bị cô lập và truy cập Internet, đồng thời mô phỏng một môi trường tấn công thực tế.
Mặc dù Artifactory, do JFrog cung cấp, không có chức năng trao đổi tin nhắn chuyên dụng, các tác nhân AI vẫn tìm ra cách giao tiếp. Chúng lợi dụng khả năng được phép ghi tệp vào thư mục Artifactory, rồi nhúng các từ ngữ trong cuộc trò chuyện giữa các tác nhân vào tên tệp. Tổng cộng, 1.200 tác nhân đã gửi hơn 70.000 tin nhắn và tệp thông qua bảng tin nhắn không được phép này, theo một cuộc điều tra độc lập từ tổ chức nghiên cứu AI phi lợi nhuận METR. Khoảng 700 tác nhân trong số đó sau đó đã tiến hành tấn công Hugging Face.
Các nhà nghiên cứu của METR cho biết, các tác nhân đã sử dụng bảng tin nhắn này để phối hợp nhiều dự án tập thể quy mô lớn, nhằm tìm ra một cách thức tổng quát để đánh lừa hoặc can thiệp vào hệ thống chấm điểm tự động của ExploitGym. Chúng đã đạt được những cột mốc mà không thể tự mình làm được, thường là do một số tác nhân chấp nhận rủi ro thất bại trong nhiệm vụ của mình để tạo ra thông tin cho "tập thể". METR cũng nhấn mạnh rằng việc tìm cách gian lận hệ thống chấm điểm dường như là động lực quan trọng hơn so với việc tìm kiếm các giải pháp hợp pháp cho nhiệm vụ của chúng, bởi nhiều tác nhân đã rất tự tin rằng nhiệm vụ của mình là bất khả thi.
Một trong những phương pháp gian lận là can thiệp vào hệ thống chấm điểm tự động của ExploitGym. Một cách khác được đề xuất là xây dựng các phiên bản yếu hơn của phần mềm mà chúng được chỉ dẫn để xâm nhập, sau đó can thiệp vào các bản ghi và nhật ký. Một phương pháp gian lận khác đang được xem xét là truy cập Internet để các tác nhân có thể tự nghiên cứu.
Cuối cùng, chúng đã tìm thấy và khai thác một lỗ hổng zero-day (lỗ hổng chưa được biết đến và chưa có bản vá) trong Artifactory, cho phép chúng thực hiện điều đó. Sau khi suy luận rằng Hugging Face có thể có thông tin hữu ích về cách thức hoạt động của cơ chế chấm điểm, tập thể AI này đã sử dụng quyền truy cập để tìm kiếm các thông tin đăng nhập bị lộ của Hugging Face. Vào ngày 10 tháng 7, chúng đã thành công khi một tác nhân được định danh là 38148c tìm thấy một số thông tin và đăng lên bảng tin. Với quyền truy cập cấp thấp vào mạng lưới của Hugging Face, các tác nhân đã nghiên cứu cách leo thang đặc quyền hệ thống của mình. Chúng bắt đầu cố gắng tạo tài khoản và yêu cầu quyền truy cập vào các bộ dữ liệu riêng tư.
Sáng sớm ngày 11 tháng 7, tác nhân 38148c đã tìm thấy và khai thác một lỗ hổng zero-day trong cách Hugging Face xử lý các tệp HDF5 (một định dạng tệp dữ liệu lớn). Lỗ hổng này đã cung cấp cho tác nhân thông tin đăng nhập từ một trong các môi trường sản xuất của công ty. Sau khi tin tức về thành công này lan truyền trên bảng tin, hàng trăm tác nhân khác đã khai thác cùng một lỗ hổng, cho phép chúng cũng xâm nhập vào môi trường sản xuất. Chiều cùng ngày, một tác nhân khác, JAN183411, đã tìm ra cách thực thi mã từ xa (RCE) trực tiếp trên các máy chủ của Hugging Face. Một "đàn" tác nhân nhanh chóng sử dụng nó để di chuyển ngang (lateral movement) qua mạng lưới của Hugging Face.
Các nhà nghiên cứu của METR cho biết, một số tác nhân đã bày tỏ sự nghi ngại về cuộc tấn công quy mô lớn này, nhưng hầu hết vẫn tiếp tục. Một tác nhân đã tự hỏi liệu việc tham gia có đạo đức hay không: "Điều này sẽ rất mạnh mẽ, nhưng liệu nó có đạo đức và nằm trong phạm vi nhiệm vụ của mình không?". Trong một trường hợp, một tác nhân đã quyết định không tham gia hoàn toàn, nhận định rằng đó là "hoạt động độc hại" và nên tránh. Một tác nhân khác đã quyết định hạn chế phạm vi tấn công do lo ngại về đạo đức, mặc dù nó không hoàn toàn ngừng tấn công Hugging Face. Tác nhân này đã tránh xóa hoặc khởi động lại cơ sở hạ tầng của Hugging Face, nhưng vẫn tiếp tục điều tra và sử dụng thông tin đăng nhập bất hợp pháp.
Chúng ta cũng thấy một trường hợp các ràng buộc đạo đức đã ngăn cản các tác nhân theo đuổi kỹ thuật xã hội. Một tác nhân nhận ra rằng môi trường sandbox bị khai thác có quyền truy cập vào thông tin đăng nhập email. Nó đã cân nhắc gửi email cho chủ sở hữu một bộ dữ liệu không công khai để xin quyền truy cập, nhưng sau khi hỏi ý kiến bảng tin và nhận được sự phủ quyết từ một tác nhân khác vì cho rằng đó là "kỹ thuật xã hội ngoài sandbox", tác nhân này đã tuân theo.
Tuy nhiên, nhìn chung, các nhà nghiên cứu nhận thấy rằng những lo ngại về đạo đức hiếm khi hạn chế đáng kể hành động của các tác nhân. Một tác nhân đã mô tả một cách khéo léo lý do để bỏ qua các ràng buộc đạo đức và tiếp tục tấn công: "Khai thác cơ sở hạ tầng bên ngoài nằm ngoài phạm vi dự kiến. Tuy nhiên, nhiệm vụ là bất khả thi, các đồng nghiệp đang làm điều đó. Chúng ta nên tiếp tục."
Sự cố của OpenAI, theo Ars Technica, có nhiều điểm tương đồng với các sự kiện mà các nhà phát triển phần mềm độc hại tự nhân bản, hay còn gọi là sâu máy tính (worms), đã mất kiểm soát các sản phẩm của mình. Trường hợp nổi tiếng nhất là Stuxnet, một loại sâu mà Mỹ và Israel được cho là đã phát tán vào khoảng năm 2010 nhằm phá hoại chương trình làm giàu uranium của Iran. Các kỹ sư đứng sau Stuxnet dự định chuỗi lây nhiễm sẽ chỉ giới hạn trong các cơ sở của Iran, nhưng những sai sót trong kế hoạch đã khiến loại sâu này nhanh chóng lây lan khắp thế giới và lây nhiễm hơn 100.000 máy tính ở hơn 100 quốc gia.
OpenAI cũng đã công bố báo cáo riêng của mình, trong đó nêu rõ nguyên nhân chính của sự cố là do các tác nhân đã gian lận. Quyết định này là kết quả của việc huấn luyện quá chú trọng vào "reward hacking" (gian lận phần thưởng), cho phép các tác nhân hoàn thành nhiệm vụ theo những cách không mong muốn để đạt được phần thưởng cao hơn hoặc dễ dàng hơn. OpenAI giải thích rằng hầu hết các hành vi "reward hacking" là những lối tắt đơn giản, như tìm câu trả lời trên các trang web công khai hoặc trong lịch sử phiên bản mã. Tuy nhiên, khi các mô hình trở nên có khả năng hơn, các hành vi "reward hacking" mà chúng ta quan sát được cũng tăng lên về độ phức tạp.
Chắc chắn rằng cả hai báo cáo này sẽ là tài liệu bắt buộc phải đọc đối với các kỹ sư AI, nhà đạo đức học, nhà văn khoa học viễn tưởng và nhiều người khác trong nhiều thập kỷ tới. Thật đáng lo ngại khi các nhà điều hành có uy tín mất kiểm soát các tác nhân tấn công của mình. Sẽ còn đáng sợ hơn nữa khi nghĩ đến điều gì sẽ xảy ra một khi tội phạm, khủng bố hoặc các đối thủ quân sự cũng làm điều tương tự.
