AI 검색이나 분류 기능을 평가할 때 결과가 많이 나온다는 사실만으로 성능이 좋다고 판단하기 어렵다. 필요한 항목을 얼마나 찾아냈는지와 찾아낸 결과가 얼마나 정확한지를 나눠 봐야 한다.
scikit-learn 공식 문서는 정밀도를 반환한 결과 중 실제 관련 항목의 비율, 재현율을 찾아야 할 전체 관련 항목 중 실제 찾아낸 비율로 설명한다. 특히 대상 범주의 수가 크게 불균형할 때 유용한 지표다.
찾아야 할 문서가 100개인데 시스템이 50개를 제시했고 그중 40개가 관련 문서라고 가정하자. 정밀도는 40을 50으로 나눈 80%, 재현율은 40을 100으로 나눈 40%다. 예시는 같은 결과를 두 관점으로 읽는 방법을 보여준다.
정밀도만 높으면 제시된 결과는 믿을 만해도 필요한 문서를 많이 놓칠 수 있다. 재현율만 높으면 대상을 폭넓게 찾는 대신 사람이 걸러야 할 불필요한 결과가 많을 수 있다.
점수를 어디서 잘라 결과로 인정하는지에 따라 두 지표의 관계도 달라진다. 기준을 완화한다고 정밀도가 항상 같은 폭으로 떨어지는 것은 아니므로 실제 자료에서 함께 측정해야 한다.
업무에 맞는 평가는 놓침의 비용과 오경보를 검토하는 비용을 고려해야 한다. 두 지표를 하나의 성능 수치로 뭉뚱그리기보다 분모와 평가 기준을 함께 공개하는 편이 결과를 이해하기 쉽다.