두 참여자의 역할
한 참여자는 표시된 대상을 가리키는 표현을 작성한다. 다른 참여자는 같은 사진과 그 표현을 보고 대상의 위치를 선택하며, 표현이 대상을 제대로 구별하는지 확인한다.
수집과 검증을 함께
올바른 대상 선택으로 이어진 표현은 게임 안에서 의미 전달이 성공했는지 확인할 수 있다. 연구는 실패한 선택으로 이어진 표현을 별도로 보관하되 최종 자료 분석 통계에서는 제외했다.
표현에 들어가는 단서
논문은 대상 범주에 따라 표현에 쓰이는 속성이 달라지고 주변 대상을 기준으로 설명하기도 한다는 점을 분석했다. 대상 이름 하나보다 속성과 관계의 조합이 중요할 수 있다.
표현 생성 모델
같은 연구는 어떤 속성과 속성값을 표현에 넣을지 함께 고르는 최적화 기반 생성 모델을 제시했다. 자료 수집 방식과 생성 모델의 성능은 구분해 평가할 대상이다.
관련 문서
Flickr30k Entities / Visual Genome / 시각적 그라운딩 / 자연어 생성 / 물체 탐지 / 시각 언어 모델