AI가 도입 전 시험을 통과했다고 운영 중 점검까지 끝난 것은 아니다. 이용자와 입력 자료, 업무 환경이 바뀌면 처음 확인한 성능이 계속 유지되는지 다시 살펴야 한다.
미국 국립표준기술연구소(NIST)는 올해 3월 공개한 AI 800-4 보고서에서 배포된 AI 시스템의 모니터링 과제를 정리했다. 전문가 워크숍과 문헌 검토를 바탕으로 현장의 장애물과 연구 질문을 분류한 자료다.
보고서는 기능, 운영 인프라, 사람과 시스템의 상호작용, 보안, 준수 여부, 광범위한 영향을 서로 다른 점검 범주로 제시했다. 서버가 정상 응답한다는 사실만으로 답변의 품질이나 이용자 영향을 모두 알 수 없다는 구분이다.
주요 어려움에는 성능 저하와 데이터·모델 변화의 탐지, 분산된 시스템의 로그, 빠른 배포 속도에 맞춘 사람의 검토 부담 등이 포함됐다. 하나의 점수만 지속적으로 보는 방식으로는 놓치는 문제가 생길 수 있다.
보고서가 모든 업무에 적용할 완성된 감시 규칙을 정한 것은 아니다. 누가 무엇을 언제 어떻게 살펴야 하는지, 자동 점검과 사람 검토를 어떻게 결합할지 등을 열린 과제로 다룬다.
운영 조직은 실제 업무 목적에 맞는 기준과 이상 징후 발생 시 대응 책임을 정할 필요가 있다. 도입 당시의 성능표와 배포 이후의 오류·변화 기록을 함께 봐야 AI의 현재 상태를 판단할 수 있다.