분리된 인코더의 한계
영상과 문장을 따로 표현한 뒤 후속 과제에서만 결합하면 공통 상호작용을 새로 학습해야 할 수 있다. EgoVLPv2는 융합 자체를 사전 학습 단계에 포함한다.
백본 내부의 융합
영상과 언어 백본 안에서 모달 간 정보를 교환한다. 별도의 융합 전용 층을 계속 쌓는 방식과 달리 기존 구조 안에 교차 모달 처리를 배치한다.
후속 작업의 재사용
학습한 주의 모듈을 후속 과제에 유연하게 활용해 미세 조정 비용을 줄이려 한다. 같은 모듈을 사용해도 과제별 출력과 학습 조건까지 동일한 것은 아니다.
비교할 조건
융합 위치의 효과를 비교할 때는 학습 자료와 백본, 후속 미세 조정 조건을 맞춰야 한다. 연산 효율과 과제 정확도는 따로 측정해야 표현 재사용의 이점을 판단할 수 있다.
관련 문서
EgoVLP / Ego4D / EPIC-KITCHENS-100 / Voltron 로봇 표현 학습 / LIV 로봇 시각 보상 / 트랜스포머