픽셀 범주와 개체 구별
의미 분할은 위치별 범주를 추정하고 인스턴스 분할은 같은 범주의 개별 물체도 구별한다. 파노픽 분할의 도메인 적응은 이 두 요구를 함께 다뤄야 한다. 의미 분할만의 성능을 그대로 전체 파노픽 성능으로 볼 수는 없다.
기존 적응 전략의 재검토
연구는 다른 분야에서 효과적이던 도메인 적응 전략을 파노픽 분할에 맞춰 적용하고 구조 설계를 비교한다. 합성에서 실제 장면으로 옮기는 조건에서 어떤 설계가 도움이 되는지 살핀다.
공유와 과제별 디코딩
EDAPS는 공유된 트랜스포머 인코더로 의미 특징과 인스턴스 특징의 공동 적응을 돕는다. 디코더는 두 분할 과제 각각의 요구에 맞게 둔다. 정보를 공유하는 지점과 출력별 처리를 나누는 지점이 다른 구성이다.
출력 차이의 독립 예
설명용으로 붙어 있는 두 차량을 모두 자동차로 분류해도 하나의 개체로 합치면 인스턴스 구별은 틀린다. 범주 예측과 개체 분리를 따로 확인해야 한다. 실제 연구 이미지를 옮기지 않은 파노픽 평가의 예다.