MaskFeat

무엇을 맞힐 것인가

가린 영역에서 원래 화소를 맞히는 것과 그 영역의 특징을 맞히는 것은 다른 학습 문제다. MaskFeat는 입력 시퀀스의 일부를 가리고 특징을 예측한다. 복원 목표가 달라지면 모델에 요구하는 정보의 종류도 달라진다.

방향성 기울기 히스토그램

HOG는 국소 영역에서 밝기가 변하는 방향을 모아 나타내는 수작업 특징이다. MaskFeat는 여러 특징 종류를 비교하고 HOG를 활용한다. 국소 대비 정규화도 결과에 중요한 요소다. HOG가 동작 이름이나 물체의 의미를 직접 정답으로 제공하는 것은 아니다.

화소 오차와 특징의 예

설명용으로 밝기가 10, 20, 30인 줄과 20, 30, 40인 줄을 비교하자. 각 위치의 밝기는 10씩 다르지만 이웃 밝기의 차이는 모두 10이다. 목표 표현에 따라 같은 변화로 볼 수 있다. 이 예는 HOG 전체 계산식이나 실제 손실 함수는 아니다.

사전 학습과 활용

복원 문제로 학습한 특징은 영상 인식에 활용할 수 있고 이미지 입력에도 적용할 수 있다. 특징 예측 오차와 후속 분류 성능은 따로 확인해야 한다. 마스킹, 목표 특징과 학습 영상의 분포를 맞춰 비교하고 사전 학습만으로 모든 동작에 대한 정답을 얻었다고 해석하지 않는다.