위키득계정 ↗
기술

EgoT2

EgoT2기술
이름
EgoTask Translation
발표
CVPR 2023
개별 구성
과제별 백본
공유 구성
과제 변환기
EgoT2는 서로 다른 1인칭 영상 과제에 맞춰 학습한 모델들의 출력을 공유 과제 변환기로 연결하는 방법이다. 과제별 백본은 구분하면서 과제 사이의 정보를 활용해 영상 이해 성능을 개선한다.

연결된 1인칭 과제

사람의 시점에서 손과 물체의 조작, 공간 이동, 다른 사람과의 상호작용은 같은 활동 흐름 안에서 이어진다. EgoT2는 이런 과제를 완전히 독립적으로만 다루지 않고 관계를 활용한다.

별도 백본과 공유 변환기

각 과제에 맞춘 백본을 따로 두고 과제 변환기를 공유한다. 서로 다른 과제에서 최적화된 모델의 출력을 변환해 하나 또는 여러 과제의 예측을 개선하도록 학습한다.

과제 경쟁의 완화

기존 다중 과제 학습과 반대되는 구성을 통해 이질적인 과제 사이의 시너지를 포착하고 경쟁을 줄이려 한다. 모든 과제를 하나의 백본에 합치는 것과는 다른 설계다.

평가 범위

Ego4D의 여러 영상 과제에서 기존 전이 방법들과 비교했다. 과제 관계가 도움이 되는지는 제공된 모델과 자료, 목표 과제에 따라 확인해야 하며 무조건적인 성능 향상을 뜻하지 않는다.

관련 문서

Ego4D / EgoVLP / AVT 행동 예측 / RU-LSTM / EgoHOS / 다중 과제 학습