장기 적응의 비용
메모리가 제한된 기기에서 시험 시점 적응을 수행하려면 역전파에 필요한 메모리도 고려해야 한다. 장기 적응에서는 오류 누적과 재난적 망각이 추가 문제가 된다.
가벼운 메타 신경망
원래 신경망을 동결하고 목표 영역에 적응하는 경량 메타 신경망을 사용한다. 역전파를 위해 유지하는 중간 활성의 규모를 줄여 메모리 소비를 낮춘다.
자기 증류 정규화
메타 신경망의 출력이 동결한 원래 신경망의 출력에서 크게 벗어나지 않도록 제어한다. 잘 학습된 원천 지식을 보존해 적응 중 오류 누적과 망각을 줄이려는 목적이다.
분류와 분할의 평가
연구는 이미지 분류와 의미 분할 벤치마크에서 효과를 평가했다. 특정 기반 신경망의 메모리 사용도 CoTTA와 비교해 적응의 계산 자원 측면을 함께 분석했다.
관련 문서
CoTTA / EATA 시험 시점 적응 / ROID 시험 시점 적응 / NOTE 시험 시점 적응 / RoTTA / LAME 시험 시점 적응