위키득계정 ↗
기술

ALFRED

ALFRED기술
발표
CVPR 2020
약어
Action Learning From Realistic Environments and Directives
자료
약 2만 5천 자연어 지시
조건
고수준 목표와 단계별 지시
ALFRED는 자연어 지시와 일인칭 영상을 가사 활동의 행동 시퀀스로 연결하는 벤치마크다. 긴 복합 작업과 되돌리기 어려운 상태 변화를 포함해 언어와 실제 관측의 연결을 평가한다.

이동만으로 끝나지 않는 작업

가사 활동에서는 목표 장소에 도착한 뒤에도 물체를 집고 상태를 바꾸며 다시 이동해야 할 수 있다. ALFRED는 이런 복합적인 행동의 연속을 평가에 포함한다.

두 수준의 언어

지시는 최종적으로 원하는 결과를 나타내는 목표와 구체적인 이동 및 상호작용을 설명하는 단계별 표현을 포함한다. 두 형태가 제공하는 정보의 수준은 다르다.

시연과 상태 변화

상호작용 가능한 시각 환경에서 전문가 시연을 제공한다. 과제에는 되돌릴 수 없는 변화도 포함돼 단순히 같은 장면을 오가며 동작을 반복하는 평가와 차이가 있다.

초기 비교의 의미

원 논문에서 기존 시각 언어 과제 기반 모델은 이 벤치마크에 어려움을 보였다. 이는 더 긴 행동과 복잡한 지시를 연결하는 당시의 비교 결과이며 현재 모든 방법의 성능을 뜻하지 않는다.

관련 문서

TEACh / BEHAVIOR / 모방 학습 / 시각 언어 모델 / AI2-THOR / 로봇 내비게이션