단계를 가로지르는 지도
학생의 i번째 단계가 교사의 첫째부터 i번째 단계까지 정보를 받는 구성을 생각한다. 세 단계라면 직접 연결은 1+2+3=6개가 된다. 같은 번호의 단계끼리만 연결한 세 개보다 풍부하지만 각 연결에서 변환과 비교를 모두 수행하면 비용도 커질 수 있다.
중첩된 특징 융합
ReviewKD는 여러 연결을 단순히 늘리는 대신 학생 특징을 점진적으로 융합하는 잔차 구조를 사용한다. 주의 기반 융합 모듈은 서로 다른 깊이의 특징을 결합해 교사 특징과 비교할 표현을 만든다. 공간 해상도와 채널 수가 다르면 비교 전에 변환과 정렬이 필요하다.
여러 해상도의 문맥
계층적 문맥 손실은 특징을 여러 크기로 풀링해 원래 해상도의 차이와 넓은 문맥의 차이를 함께 비교한다. 2×2 특징 값이 1,2,3,4라면 전역 평균은 2.5다. 세부 위치별 오차와 전역 요약의 오차는 서로 다른 정보를 주므로 하나의 해상도만 보는 것과 구분된다.
학습 비용과 추론
추가 변환과 교사 특징 비교는 학생을 학습시키는 데 사용한다. 후속 추론에서는 원래 학생 구조를 사용하므로 학습용 모듈 비용과 배포할 학생의 비용을 나눠 평가한다. 교사와 학생의 단계 구분이나 해상도가 다를 때는 연결 규칙을 명시하고 실제 과제의 성능으로 효과를 확인한다.