AI
한국어 AI 평가, 번역 넘어 문항 재설계
한국어 인공지능 모델을 평가할 때 영어 시험을 번역하는 데 그치지 않고 한국어에 맞게 문항과 평가 방식을 설계해야 한다는 연구가 공개됐다.
#AI평가
AI
AI가 내놓은 확률 80%, 실제 결과와 맞는지 보려면
분류 모델의 확률 80%가 실제 비율과 맞는지는 확률 보정으로 점검한다. 정답률과 구분하고 독립된 자료와 충분한 표본으로 비교해야 한다.
AI
AI 시험 점수만 유난히 높다면, 데이터 누수부터 확인
데이터 누수는 평가에 쓰일 정보가 모델 구성에 섞이는 문제다. 학습·평가 분리뿐 아니라 전처리와 변수 선택의 순서를 확인해야 한다.
AI
[AI 연구 해설] 생성 이미지 편향, 인물 수뿐 아니라 표정도 봐야
생성형 AI의 직업 이미지에서 누구를 얼마나 등장시키는지뿐 아니라 나이와 표정까지 살펴야 한다는 연구가 있다. 미 저우 등 연구진이 2024년 3월 공개한 논문은 미드저니·스테이블디퓨전·달리2의 생성 이미지를 분석했다.