싱가포르 사이버보안청과 구글이 자율형 AI 에이전트의 보안 상황을 가정한 모의훈련 결과를 공개하고 실행 단계의 통제 필요성을 제시했다.
15일 싱가포르 사이버보안청(CSA)이 공개한 성명에 따르면 훈련은 전날 싱가포르 국제 사이버 주간 행사에서 진행됐다. 정책 담당자와 중요 기반시설 관계자, AI 안전·보안 전문가가 참여했다.
참가자들은 조직의 핵심 업무를 자율형 AI에 맡길 때 발생하는 운영 위험을 살폈다. 외곽 방어와 사람의 수동 검토에만 의존하면 빠른 처리 속도를 따라가지 못하거나 감시 공백이 생길 수 있다고 논의했다.
보안 감시처럼 높은 권한을 가진 작업을 단일 모델에 과도하게 의존하는 문제도 점검했다. 독립적인 검증과 여러 모델의 활용이 대응력을 높이는 방안으로 거론됐다.
주요 보호 수단은 모델 바깥의 시스템에 두는 통제다. 실행 중 지속적인 감시, 보호된 실행환경, 엄격한 접근권한 관리 등을 여러 층으로 적용하는 방안을 논의했다.
영향이 큰 무단 행동을 실시간으로 막는 장치와, 추론·도구 사용 기록을 사후 검토하는 감시를 결합하는 예도 제시됐다. 이는 모든 AI 활동을 사람의 확인으로만 처리하자는 제안과는 다르다.
향후 협력 과제로는 신뢰할 수 있는 위협정보 공유, AI 행동 평가와 시험, 사고 대응 역량 및 사람의 감독이 꼽혔다. 광범위한 도입 전에 상호작용 위험을 점검하는 실증도 포함됐다.
이번 성명은 참가자들이 논의한 보안 원칙과 협력 과제를 정리한 것이다. 특정 제품의 안전성을 인증하거나 새 규제를 확정한 발표는 아니다.