생성형 AI가 만든 영상의 품질을 평가할 때 처음 입력한 명령문과 실제 영상 사이의 차이를 반영하는 연구가 나왔다.
지난 15일 아카이브에 공개된 VGCap 연구는 영상에서 확인한 내용을 바탕으로 만든 설명문을 품질 평가에 활용한다. 케하오 저우 등 연구진은 생성 명령문이 완성된 영상의 내용을 정확히 나타내지 못하는 문제에 주목했다.
연구는 두 종류의 설명문을 결합한다. 전체 설명문은 여러 프레임의 시각적 근거를 확인해 원래 명령문을 필요한 만큼 수정하고, 구간별 설명문은 명령문에 기대지 않고 각 구간의 내용을 따로 기술한다.
이를 통해 화면의 공간적 품질과 시간에 따른 변화, 문장과 영상의 일치도를 각각 평가한다. 전체 영상의 의미와 짧은 구간에서 벌어지는 일을 함께 반영하려는 방식이다.
연구진은 LGVQ와 FETV 데이터셋 실험에서 세 평가 영역 모두 대표 비교 모델보다 좋은 결과를 얻었다고 보고했다. 구간별 특징은 특히 시간적 품질을 예측하는 데 도움이 됐다고 설명했다.
이 결과는 논문에서 사용한 데이터와 실험 조건에 관한 성과다. 모든 영상 장르나 생성 모델에 같은 수준의 개선이 보장된다는 의미는 아니며, 실제 서비스 적용에는 별도의 성능 확인이 필요하다.