Khi AI tự biết mình sắp nói sai: bước ngoặt an ninh mạng?

Code Nguyen
Code Nguyen
Phản hồi: 0

Code Nguyen

Writer
Các mô hình ngôn ngữ lớn (LLM) mắc “ảo giác” không phải vì lỗi lập trình, mà vì bản chất hoạt động của chúng đã quyết định điều này là… không thể tránh. Ảo giác ở đây là khi AI tạo ra thông tin nghe hợp lý nhưng sai, bịa hoặc vô nghĩa. Nguy hiểm hơn, theo giáo sư vật lý Neil Johnson, đôi khi câu trả lời đang đúng bỗng chuyển sang sai ngay giữa chừng, và người dùng không hề nhận ra.

Johnson xem việc dùng AI là bài toán cân bằng giữa niềm tin và rủi ro. Ông không tìm cách loại bỏ ảo giác, mà muốn dự đoán khi nào chúng sẽ xảy ra, nhờ vào một mô hình toán học lấy cảm hứng từ vật lý, cụ thể là hệ “nhiệt đa spin” mô phỏng cách các hạt lượng tử tương tác và đảo trạng thái. Trong mô hình này, mỗi “spin” giống như một token của AI, còn nhiệt độ tượng trưng cho mức độ ngẫu nhiên trong quá trình xử lý.

Từ đây, ông phát triển công thức dự đoán “điểm tipping”, thời khắc mà chuỗi token đúng chuyển sang token sai. Điểm đặc biệt là công thức này hoạt động khi AI vẫn đang trả lời, thay vì phải chờ kết quả hoàn tất mới đánh giá. Điều đó mở ra khả năng cho AI tự giám sát câu trả lời và dừng lại khi nhận thấy nguy cơ sinh ra nội dung sai.

1755071254590.png

Tất nhiên, triển khai thực tế sẽ khó vì yêu cầu nhiều sức mạnh tính toán và có thể làm chậm phản hồi. Các hãng phát triển AI phổ thông có thể không muốn hi sinh hiệu suất cho mục tiêu này, nhưng với những lĩnh vực như y tế hay quốc phòng, việc chấp nhận chi phí cao để giảm rủi ro lại hợp lý hơn.

Johnson cũng đề xuất hai chiến lược thiết kế mới: “gap cooling” để tăng khoảng cách an toàn giữa các tương tác trước khi chạm ngưỡng tipping, và “temperature annealing” để điều chỉnh nhiệt độ cân bằng giữa độ chính xác và sự ngẫu nhiên.

Dù còn là lý thuyết, nếu công nghệ này thành hiện thực, AI có thể trở thành một “người gác cửa” thông minh, tự biết khi nào mình sắp… trượt và chủ động ngăn chặn trước khi gây hậu quả. Điều này đặc biệt quan trọng trong bối cảnh nhiều người có xu hướng tin AI hơn cả chuyên gia con người, nhất là trong các lĩnh vực nhạy cảm như y tế, tài chính hay an ninh mạng.

securityweek
Nguồn bài viết: https://www.securityweek.com/managi...predicting-hallucinations-before-they-strike/
 
Được phối hợp thực hiện bởi các chuyên gia của Bkav, cộng đồng An ninh mạng Việt Nam WhiteHat và cộng đồng Khoa học công nghệ VnReview
  • 1755071213197.png
    1755071213197.png
    772.9 KB · Lượt xem: 18


Đăng nhập một lần thảo luận tẹt ga
http://textlink.linktop.vn/?adslk=aHR0cHM6Ly92bnJldmlldy52bi90aHJlYWRzL2toaS1haS10dS1iaWV0LW1pbmgtc2FwLW5vaS1zYWktYnVvYy1uZ29hdC1hbi1uaW5oLW1hbmcuNjcxMTIv
Top