표현을 한 덩어리로 보지 않기
대상을 설명하는 문장에는 외형과 위치, 주변 물체의 관계가 서로 다른 비중으로 들어갈 수 있다. MAttNet은 표현을 이 세 요소와 관련된 모듈로 분해해 처리한다.
언어가 정하는 모듈의 비중
언어 기반 어텐션은 각 모듈이 집중할 단어나 구와 모듈별 가중치를 학습한다. 같은 구조라도 입력 표현에 따라 어떤 정보에 더 무게를 둘지 달라진다.
시각 단서에 주의 기울이기
시각 어텐션은 대상과 관계 모듈이 관련된 영상 요소에 집중하도록 한다. 세 모듈의 점수를 입력에 맞게 결합해 최종 대응 점수를 만든다.
두 수준의 이해 평가
논문은 경계 상자 수준과 픽셀 수준의 지시 표현 이해를 모두 평가했다. 대상을 포함한 상자를 고르는 결과와 실제 영역을 세밀하게 구분하는 결과는 구분할 필요가 있다.
관련 문서
ReferItGame / Flickr30k Entities / TransVG / 어텐션 / 시각적 그라운딩 / 인스턴스 분할