물체 단위의 보완
모델이 만든 물체별 설명을 출발점으로 사람이 빠진 정보와 잘못된 내용을 수정한다. 짧은 웹 설명만으로 놓치기 쉬운 구체적인 시각 특징을 더 풍부하게 담으려는 과정이다.
전체 장면의 연결
영상 수준의 초기 설명과 검토한 물체 주석을 함께 사용해 문맥의 빈틈을 채운다. 시점과 공간 배치, 사람과 물체의 상호작용처럼 개별 대상 밖의 관계도 고려한다.
사람이 평가하는 설명 품질
설명이 얼마나 포괄적이고 구체적인지, 영상에 없는 내용을 포함하는지 등을 사람 평가로 살폈다. 설명이 길어지는 것만으로 정확해지지는 않으므로 내용의 충실도와 시각적 일치를 함께 평가한다.
학습과 생성 과제에 활용
약 9천 예시로 미세 조정한 모델을 평가하고 설명을 이용한 영상 생성 및 시각 언어 추론도 시험했다. IIW-Eval에는 사람의 판단 표지와 물체 및 영상 수준 주석이 포함된다.
관련 문서
DOCCI / 영상 설명 생성 / DreamLIP / FLAIR 세부 영상 표현 / 인간 참여 학습 / 시각 질문 응답