시험에서는 잘 맞히던 AI가 실제 업무에 투입된 뒤 성능이 떨어질 수 있다. 이유는 여러 가지지만 먼저 살펴볼 문제 중 하나가 데이터 누수다. 평가에 쓸 정보가 모델을 만드는 과정에 미리 들어가는 현상이다.
머신러닝 도구 scikit-learn의 공식 문서는 예측 시점에 알 수 없는 정보를 모델 구성에 사용하면 성능을 지나치게 낙관적으로 추정할 수 있다고 설명한다. 학습 데이터와 평가 데이터를 나누는 이유도 여기에 있다.
누수는 정답을 직접 넣었을 때만 생기지 않는다. 전체 데이터로 평균을 구해 값을 정규화한 뒤 학습·평가 자료를 나누면 평가 자료의 정보가 전처리에 반영될 수 있다.
공식 문서는 데이터를 먼저 분리하고 전처리 기준을 학습 자료에서만 익히도록 권고한다. 평가 자료에는 이미 정한 기준을 적용해야 한다. 같은 변환을 사용하되 기준을 배우는 범위를 지키는 것이 핵심이다.
변수 선택이나 빈값 처리도 확인 대상이다. 모델 학습 단계만 분리해 놓고 그 앞의 준비 작업에서 전체 자료를 사용했다면 평가 독립성이 깨질 수 있다.
따라서 성능 보고서에는 점수와 함께 자료 분리 방식, 전처리와 변수 선택의 순서를 적는 것이 유용하다. 높은 숫자가 새로운 사례를 잘 처리한 결과인지, 시험 정보를 미리 본 효과인지를 구별해야 한다.