탐지 결과를 시퀀스로
영상 속 물체가 어디에 있고 무엇인지 경계 상자와 범주로 나타낸다. Pix2Seq는 이 정보를 이산 토큰의 연속으로 바꾸어 신경망이 읽어 내도록 학습한다.
픽셀에 조건을 둔 예측
신경망은 영상을 관측한 뒤 원하는 탐지 토큰 시퀀스를 생성한다. 일반적인 문장을 생성하는 언어 모델과 같은 학습 관점을 사용하지만 출력 토큰의 의미는 물체 위치와 범주다.
과제 가정을 줄이는 방향
탐지 전용의 사전 지식을 구조에 많이 넣는 방식과 달리 과제에 대한 가정을 줄이려 했다. 다만 과제별 자료 증강은 사용하므로 탐지에 특화된 선택이 전혀 없는 것은 아니다.
평가의 의미
논문은 COCO에서 전문화된 탐지 알고리즘과 경쟁력 있는 결과를 보였다. 시퀀스 생성이라는 형식은 탐지의 대안적 구성이며, 모든 자료와 비용 조건에서 기존 탐지기를 대체한다는 의미는 아니다.
관련 문서
물체 탐지 / 토큰 / 언어 모델 / Unified-IO / OFA / 자기회귀 모델