한국어 인공지능 모델을 평가할 때 영어 시험을 번역하는 데 그치지 않고 한국어에 맞게 문항과 평가 방식을 설계해야 한다는 연구가 공개됐다.
지난 15일 학술논문 공개 플랫폼 아카이브에 올라온 KBS 연구는 한국어 기반 모델을 위한 평가 묶음을 제안했다. 연구진은 6개 역량을 다루는 총 9396개 문항으로 벤치마크를 구성했다.
평가 묶음에는 Ko-ARC, Ko-GSM8K, Ko-EQ-Bench, Ko-WinoGrande, Ko-LAMBADA, Ko-IFEval이 포함된다. 지식과 추론, 문맥 이해, 지시 이행 등 서로 다른 능력을 나눠 살피려는 구성이다.
문항을 만드는 과정에서는 번역 검토와 현지화뿐 아니라 한국어로 직접 작성하거나 과제 자체를 다시 설계하는 방식을 결합했다. 원문의 형식을 그대로 옮기는 것만으로 한국어 사용 환경을 충분히 반영하기 어렵다는 문제의식이다.
연구진은 국내 개발 모델과 다국어 공개 모델, API로 접근하는 상용 모델 등을 평가했다. 접근 방식에 따른 차이를 고려해 입력 형식과 채점 절차 등 평가 조건을 함께 다뤘다.
연구는 모델 점수가 문항 구성과 프롬프트, 채점 방식, 추가 학습 조건에 영향을 받을 수 있다고 설명한다. 공개 논문 단계의 결과인 만큼 단일 점수만으로 모든 한국어 업무의 성능 순위를 확정하기보다 평가 조건을 함께 읽는 접근이 필요하다.