분포와 물체의 차이
사람이 어느 위치를 볼지의 분포를 예측하는 것과 현저한 물체 영역을 구하는 것은 다른 출력이다. UniST는 둘의 공통적인 시각 정보를 활용하면서 과제별 결과를 구별한다.
해상도를 높이는 표현
프레임 시퀀스의 표현에 더해 현저성을 고려한 트랜스포머가 점차 높은 해상도의 시공간 표현을 학습한다. 서로 다른 크기의 현저성 정보를 함께 반영한다.
과제별 마지막 처리
공통 표현 뒤에는 각 과제의 최종 예측을 위한 디코더를 둔다. 같은 특징을 활용하더라도 분포 지도와 물체 검출 결과의 의미가 달라 과제에 맞는 처리가 필요하다.
통합 모델의 평가
두 과제의 여러 벤치마크를 이용해 성능을 비교한다. 한 과제의 개선이 다른 과제에서도 유지되는지와 별도 학습 대비 공동 구조의 이득을 나누어 살펴야 한다.
관련 문서
UNISAL / SALICON / VideoAttentionTarget / 트랜스포머 / 객체 탐지 / 컴퓨터 비전