영역과 연결된 긴 설명
사람이 영상의 마스크 영역과 연결되는 설명을 작성했다. 영상당 평균 1천 단어가 넘는 상세 주석으로 전체 장면과 부분 내용을 다루며, 개별 짧은 캡션의 길이와는 구별해야 한다.
부분 영상과 문장 맞추기
각 설명을 대응하는 부분 영상과 연결하는 평가 과제를 구성했다. 장면 전체의 대략적인 주제를 맞추는 능력뿐 아니라 특정 영역의 세부 의미를 구별하는지를 살핀다.
길이 제한을 위한 요약판
텍스트 입력이 77토큰으로 제한된 모델도 평가할 수 있도록 길이를 제한한 sDCI를 제시했다. 상세 주석과 요약 주석은 담고 있는 정보량이 다르므로 평가에 어느 쪽을 썼는지 확인해야 한다.
기존 평가와의 차이
일반 벤치마크에서의 개선이 sDCI 기반 평가의 큰 향상으로 바로 이어지지는 않는다고 보고했다. 작은 sDCI 학습 자료로 CLIP을 미세 조정하는 실험도 진행해 세부 대응 학습의 효과를 살폈다.
관련 문서
DOCCI / ImageInWords / CLIP / Long-CLIP / FLAIR 세부 영상 표현 / 영상 설명 생성