AI 분류기가 어떤 결과의 확률을 80%라고 표시해도 그 숫자가 실제 발생 비율과 잘 맞는지는 별도 문제다. 결과를 맞히는 능력과 확률 수치의 신뢰성을 구분하는 개념이 확률 보정이다.
머신러닝 도구 scikit-learn의 공식 문서는 잘 보정된 이진 분류기라면 약 0.8의 확률을 부여한 사례 중 실제 해당 범주에 속하는 비율도 약 80%여야 한다고 설명한다.
이는 한 사례가 반드시 80%만큼 맞는다는 뜻이 아니다. 비슷한 확률을 받은 여러 사례를 모아 실제 결과의 비율과 대조하는 관점이다. 평가 표본이 너무 적으면 우연한 변동을 구분하기 어렵다.
확률 보정 곡선은 예측을 구간별로 묶어 평균 예측값과 실제 비율을 비교한다. 구간을 촘촘히 나누면 세부 모습을 볼 수 있지만 각 구간에 충분한 사례가 있어야 한다.
보정 과정에 사용하는 자료도 모델을 학습시킨 자료와 독립적으로 준비해야 한다. 이미 학습에 사용한 사례에서 나온 낙관적인 결과를 그대로 이용하면 확률을 지나치게 확신하는 방향으로 맞출 수 있다.
이 설명은 분류 모델의 확률 출력에 관한 것이다. 챗봇이 문장으로 말한 확신 정도를 같은 지표로 자동 해석해서는 안 된다. 숫자의 산출 방식과 검증 자료를 알아야 80%라는 표현의 의미를 판단할 수 있다.