시점 차이와 상태 차이
다르게 보이는 영상도 같은 순간의 같은 상호 작용일 수 있다. 반대로 시각적으로 비슷한 인접 순간은 기능적으로 다른 상태일 수 있다. TCN은 이 두 관계를 함께 학습하려 한다.
동시 관측을 연결하는 손실
같은 관측의 동시 다중 시점을 임베딩 공간에서 당기고 시간 이웃과는 밀어내는 거리 학습 손실을 사용한다. 시간에 가까우면 모두 같은 의미라는 일관성 가정과는 다르다.
로봇 행동의 학습
학습 표현으로 사람 자세를 직접 모방하거나 강화 학습의 보상 함수를 구성하는 사용을 보여 준다. 여러 미주석 과제 관련 영상의 표현 학습과 한 번의 사람 시연을 따라 행동을 배우는 조건을 구분해야 한다.
인접 상태의 독립 예
설명용으로 손이 손잡이를 잡기 직전과 잡은 직후는 영상이 비슷해도 접촉 관계가 다르다. 다른 카메라의 같은 순간은 외형이 달라도 같은 상태일 수 있다. 실제 연구 시연을 옮기지 않은 시간 및 시점 관계의 예다.
관련 문서
시간 순환 일관성 학습 / 자기 이동 등변 표현 / 대조 학습 / 자기 지도 학습 / Shuffle and Learn / NNCLR