위키득계정 ↗
기술

FUTR

FUTR기술
이름
Future Transformer
발표
CVPR 2022
예측 대상
장기 미래 행동열
디코딩
전체 행동열의 병렬 예측
FUTR는 관측한 영상에서 앞으로 이어질 행동열을 병렬 디코딩으로 예측하는 트랜스포머다. 입력 프레임과 출력 토큰의 전역 주의를 활용해 긴 시간 범위의 행동 관계를 모델링한다.

먼 미래를 예측하는 과제

관측된 행동을 분류하는 것과 앞으로 일어날 행동을 예상하는 것은 다르다. FUTR는 과거에 본 행동과 미래 행동 사이의 긴 시간 관계를 활용해 분 단위 행동열의 예측을 다룬다.

전역 주의

입력 프레임 전체와 출력 토큰 전체에 대한 전역 주의를 활용한다. 관측한 흐름과 예측할 행동들 사이의 관계를 함께 고려하기 위한 구조다.

병렬 디코딩

미래 행동을 하나씩 앞선 예측에 의존해 생성하는 자기회귀 방식 대신 전체 미래 행동열을 병렬로 예측한다. 생성 순서를 바꾸는 설계이며 미래의 불확실성이 사라지는 것은 아니다.

평가 범위

Breakfast와 50Salads에서 장기 행동 예측을 평가했다. 관측 구간의 길이와 예측할 미래 범위가 달라지면 과제의 난도도 달라지므로 같은 조건의 결과끼리 비교해야 한다.

관련 문서

ActFusion / ANTICIPATR / LTContext / UVAST / 트랜스포머 / 자기회귀 모델