Trong quá trình thử nghiệm trên một trợ lý AI dành cho người dùng cuối, Ferdiansyah đã đăng ký tài khoản thông thường, thu được token hợp lệ và kết nối trực tiếp tới dịch vụ. Sau đó, ông gửi một gói cấu hình tùy chỉnh để thay đổi chỉ thị hệ thống và kích hoạt công cụ thực thi mã. Máy chủ chấp nhận các thay đổi này và cho phép chạy thành công mã Python trong môi trường sandbox của Google. Để xác minh đây là quá trình thực thi thực sự chứ không phải phản hồi do mô hình AI tạo ra, nhà nghiên cứu đã sử dụng cơ chế kiểm chứng bằng giá trị ngẫu nhiên kết hợp với thông tin hệ thống trong môi trường thực thi. Kết quả thu được xác nhận đoạn mã đã được thực thi thành công.
Dù môi trường gVisor của Google ngăn chặn truy cập mạng bên ngoài và hạn chế khả năng thoát khỏi sandbox, lỗ hổng vẫn có thể bị lợi dụng để sử dụng trái phép tài nguyên tính toán hoặc kích hoạt các công cụ mà nhà phát triển không chủ định cấp quyền. Theo Ferdiansyah, việc khắc phục tương đối đơn giản. Các nhà phát triển chỉ cần cấu hình trường live_connect_constraints.bidi_generate_content_setup khi tạo token để cố định mô hình, chỉ thị hệ thống và danh sách công cụ được phép sử dụng. Khi đó, mọi thay đổi từ phía client sẽ bị từ chối.
Sự việc cho thấy rủi ro trong các hệ thống AI hiện đại không chỉ đến từ bản thân mô hình ngôn ngữ mà còn xuất phát từ các thành phần tích hợp như API, cơ chế xác thực và quản lý quyền hạn. Khi AI ngày càng được trao khả năng thực thi mã và tương tác với các hệ thống bên ngoài, một sai sót cấu hình tưởng chừng nhỏ cũng có thể mở ra những con đường tấn công ngoài dự kiến. Đồng thời, đây cũng là lời nhắc nhở đối với các nhóm phát triển rằng việc sử dụng mã mẫu từ nhà cung cấp không đồng nghĩa với an toàn tuyệt đối. Các cơ chế kiểm soát quyền hạn và ràng buộc phiên vẫn cần được rà soát, đánh giá độc lập trước khi đưa sản phẩm vào môi trường thực tế.
