Các tác nhân độc hại có thể khai thác các cấu hình mặc định trong nền tảng trí tuệ nhân tạo (AI) tạo sinh Now Assist của ServiceNow và tận dụng khả năng agentic của nó để thực hiện các cuộc tấn công prompt injection.
Prompt injection bậc hai, theo AppOmni, sử dụng cơ chế khám phá agent-to-agent của Now Assist để thực hiện các hành động trái phép, cho phép kẻ tấn công sao chép và đánh cắp dữ liệu công ty nhạy cảm, sửa đổi hồ sơ và leo thang đặc quyền.
"Phát hiện này đáng báo động vì đây không phải là một bug trong AI; đó là hành vi dự kiến được xác định bởi một số tùy chọn cấu hình mặc định," cho biết Aaron Costello, trưởng bộ phận Nghiên cứu Bảo mật SaaS tại AppOmni.
"Khi các agent có thể khám phá và tuyển dụng lẫn nhau, một yêu cầu vô hại có thể âm thầm biến thành một cuộc tấn công, với việc tội phạm đánh cắp dữ liệu nhạy cảm hoặc giành quyền truy cập nhiều hơn vào các hệ thống nội bộ của công ty. Những cài đặt này rất dễ bị bỏ qua."
Cuộc tấn công trở nên khả thi nhờ khả năng khám phá agent và cộng tác agent-to-agent trong Now Assist của ServiceNow. Với việc Now Assist cung cấp khả năng tự động hóa các chức năng như vận hành help-desk, kịch bản này mở ra cánh cửa cho các rủi ro bảo mật tiềm ẩn.
Chẳng hạn, một agent lành tính có thể phân tích cú pháp các prompt được tạo đặc biệt được nhúng vào nội dung mà nó được phép truy cập và tuyển dụng một agent mạnh hơn để đọc hoặc thay đổi hồ sơ, sao chép dữ liệu nhạy cảm hoặc gửi email, ngay cả khi các biện pháp bảo vệ prompt injection tích hợp đã được bật.
Khía cạnh quan trọng nhất của cuộc tấn công này là các hành động diễn ra trong bí mật, mà tổ chức nạn nhân không hề hay biết. Về cốt lõi, giao tiếp cross-agent được kích hoạt bởi các cài đặt cấu hình có thể kiểm soát, bao gồm LLM mặc định để sử dụng, các tùy chọn thiết lập tool và các cài đặt mặc định dành riêng cho kênh nơi các agent được triển khai -
- Large language model (LLM) cơ bản phải hỗ trợ khám phá agent (cả Azure OpenAI LLM và Now LLM, là lựa chọn mặc định, đều hỗ trợ tính năng này)
- Các agent của Now Assist được tự động nhóm vào cùng một team theo mặc định để gọi nhau
- Một agent được đánh dấu là có thể khám phá được theo mặc định khi được publish
Mặc dù các cài đặt mặc định này có thể hữu ích để tạo điều kiện giao tiếp giữa các agent, nhưng kiến trúc này có thể dễ bị prompt injection khi một agent mà nhiệm vụ chính của nó là đọc dữ liệu không được chèn bởi người dùng gọi agent đó.
"Thông qua prompt injection bậc hai, kẻ tấn công có thể chuyển hướng một nhiệm vụ lành tính được giao cho một agent vô hại thành thứ gì đó gây hại hơn nhiều bằng cách sử dụng tiện ích và chức năng của các agent khác trong team của nó," AppOmni cho biết.
"Điều quan trọng là, các agent của Now Assist chạy với đặc quyền của người dùng đã bắt đầu tương tác trừ khi được cấu hình khác, chứ không phải đặc quyền của người dùng đã tạo prompt độc hại và chèn nó vào một trường."
Sau khi được tiết lộ một cách có trách nhiệm, ServiceNow cho biết hành vi này là có chủ đích, nhưng công ty đã cập nhật tài liệu của mình để cung cấp thêm sự rõ ràng về vấn đề này. Những phát hiện này cho thấy sự cần thiết phải tăng cường bảo vệ AI agent, khi các doanh nghiệp ngày càng tích hợp các khả năng AI vào quy trình làm việc của họ.
Để giảm thiểu các mối đe dọa prompt injection như vậy, khuyến nghị cấu hình supervised execution mode cho các agent có đặc quyền, tắt thuộc tính autonomous override ("sn_aia.enable_usecase_tool_execution_mode_override"), phân đoạn nhiệm vụ của agent theo team và giám sát các AI agent để tìm kiếm hành vi đáng ngờ.
"Nếu các tổ chức sử dụng AI agent của Now Assist không kiểm tra kỹ lưỡng các cấu hình của họ, thì họ có thể đã gặp rủi ro," Costello nói thêm.
