연결되면서 다른 영상
한 연구자가 촬영하고 선별해 제공한 영상을 사용한다. 서로 관련된 장면이나 비슷해 보이는 영상의 세부 차이를 문장으로 구별할 수 있도록 설명을 작성했다.
여러 조건을 담는 설명
사람이 영어 설명을 달면서 공간 관계와 물체 수, 영상 속 문자 및 세계 지식 등의 조건을 다룬다. 단순히 물체 이름을 나열하는 데 그치지 않고 여러 요소가 결합된 장면을 표현한다.
영상에서 설명을 생성하는 학습
상세 설명을 만드는 모델의 학습 자료로 사용했다. 논문은 DOCCI로 미세 조정한 PaLI 5B를 더 큰 영상 언어 모델과 비교해 설명 생성 성능을 정량 및 정성 평가했다.
문장에서 영상을 만드는 평가
텍스트 영상 생성 모델이 긴 설명의 세부 사항을 얼마나 반영하는지 시험하는 데에도 활용한다. 설명 길이뿐 아니라 수량과 위치, 문자 등 어떤 조건을 놓치는지 살피는 평가 자료다.
관련 문서
ImageInWords / PaLI / Long-CLIP / DreamLIP / 문단 감독 영상 텍스트 검색 / 영상 설명 생성