Sóng AI
Writer
Các nhà nghiên cứu từ đại học Singapore Management University (SMU) đã phát triển AgentSpec - một framework chuyên biệt giúp người dùng định nghĩa các quy tắc cấu trúc để kiểm soát hành vi của AI agent.
AgentSpec hoạt động như một lớp thực thi thời gian chạy, can thiệp vào hành vi của agent trong quá trình thực hiện nhiệm vụ và bổ sung các quy tắc an toàn do con người thiết lập hoặc được tạo ra từ prompt.
Framework này bao gồm 3 thành phần chính: trigger (xác định thời điểm kích hoạt quy tắc), check (thêm điều kiện kiểm tra) và enforce (thực thi hành động khi quy tắc bị vi phạm).
Các thử nghiệm với AgentSpec cho thấy nó ngăn chặn hơn 90% các thực thi mã không an toàn, đảm bảo tuân thủ hoàn toàn trong các tình huống vi phạm luật lái xe tự động, loại bỏ hành động nguy hiểm trong các tác vụ agent thể hiện, và hoạt động với độ trễ chỉ ở mức mili giây.
Quy tắc AgentSpec được tạo ra bởi LLM (sử dụng OpenAI's o1) cũng có hiệu suất tốt, thực thi 87% mã rủi ro và ngăn chặn vi phạm luật trong 5/8 tình huống.
Mặc dù AgentSpec ban đầu được tích hợp trên framework LangChain, nhưng nó được thiết kế để không phụ thuộc vào framework cụ thể, có thể chạy trên các hệ sinh thái như AutoGen và Apollo.
Các phương pháp hiện tại như ToolEmu và GuardAgent có thể xác định rủi ro hiệu quả nhưng thiếu tính giải thích và không có cơ chế thực thi an toàn, khiến chúng dễ bị thao túng.
AgentSpec can thiệp vào 3 điểm quyết định chính: trước khi một hành động được thực thi (AgentAction), sau khi hành động tạo ra kết quả quan sát (AgentStep), và khi agent hoàn thành nhiệm vụ (AgentFinish).
Các tổ chức đã bày tỏ lo ngại về độ tin cậy của agent, lo lắng rằng sau khi triển khai, agent có thể quên tuân theo hướng dẫn, thực hiện các hành động ngoài ý muốn, thiếu linh hoạt và khó kiểm soát.
Ngay cả OpenAI cũng thừa nhận rằng đảm bảo độ tin cậy của agent sẽ cần làm việc với các nhà phát triển bên ngoài, vì vậy họ đã mở SDK Agents để giúp giải quyết vấn đề này.
Khi các tổ chức bắt đầu lên kế hoạch chiến lược agentic, các nhà lãnh đạo công nghệ cũng tìm kiếm cách đảm bảo độ tin cậy, đặc biệt là khi hướng tới các agent môi trường xung quanh hoạt động liên tục trong nền.
AgentSpec là framework mới từ SMU giúp tăng độ tin cậy của AI agent bằng quy tắc cấu trúc. Thử nghiệm cho thấy ngăn chặn 90% mã không an toàn, đảm bảo tuân thủ trong lái xe tự động và hoạt động với độ trễ cấp mili giây, giải quyết vấn đề quan trọng cho việc triển khai agent trong doanh nghiệp.Nguồn: Songai.vn
