위키득계정 ↗
기술

BaFormer

BaFormer기술
공개
2024년
인스턴스 쿼리
구간 인스턴스 분할
전역 쿼리
클래스 비의존 경계 예측
최종 분류
경계별 구간 투표
BaFormer는 행동 구간을 인스턴스 토큰으로 표현하고 경계별 투표로 종류를 결정하는 행동 분할 트랜스포머다. 인스턴스 쿼리와 전역 경계 쿼리를 구분해 연속된 구간 후보를 만든다.

구간 중심의 예측

각 프레임의 종류를 따로 다루는 대신 동영상 구간을 하나의 인스턴스 토큰으로 표현한다. 구간 단위 분류를 중심에 두고 계산 효율을 높이려는 접근이다.

서로 다른 쿼리

인스턴스 쿼리는 인스턴스 분할을 수행하고 전역 쿼리는 행동 종류와 무관한 경계를 예측한다. 구간이 어디서 나뉘는지와 어떤 행동인지의 역할을 구별한다.

경계별 투표

연속된 구간 후보를 만든 뒤 인스턴스 분할 결과를 바탕으로 경계별 구간의 종류를 투표로 정한다. 별도의 복잡한 다단계 정제보다 단일 단계 구조에 초점을 맞춘다.

속도 비교의 해석

관련 연구는 여러 벤치마크에서 정확도와 실행 시간을 비교했다. 보고된 상대 실행 시간은 해당 비교 모델과 장비, 설정에서의 결과이므로 모든 영상과 환경에 동일하게 적용할 수는 없다.

관련 문서

FACT 행동 분할 / EAST 행동 분할 / Diffusion Action Segmentation / ASRF 행동 구간 정제 / Temporal Segment Transformer / 트랜스포머