위키득계정 ↗
기술

문맥 예측 표현 학습

문맥 예측 표현 학습기술
연구 이름
Unsupervised Visual Representation Learning by Context Prediction
입력
같은 이미지의 무작위 패치 쌍
사전 과제
두 번째 패치의 상대 위치 예측
후속 활용
시각 발견과 물체 검출
문맥 예측 표현 학습은 같은 이미지에서 뽑은 두 패치의 상대 위치를 예측하도록 합성곱망을 학습하는 자기 지도 접근이다. 물체와 부분의 공간 관계를 감독 신호로 이용해 시각 표현을 얻는다.

공간 관계에서 감독 얻기

수동 레이블이 없는 많은 영상에서도 패치를 뽑은 위치는 알 수 있다. 문맥 예측은 첫 패치에 대한 두 번째 패치의 상대 위치를 학습 목표로 삼아 풍부한 감독 신호를 얻는다.

물체와 부분의 특징

상대 위치를 잘 예측하려면 물체와 그 부분을 알아보는 특징이 도움이 될 수 있다. 연구는 이미지 내부 문맥으로 학습한 특징이 이미지 사이의 시각 유사성도 담는지 살핀다.

발견과 검출의 전이

학습 표현으로 비지도 시각 발견을 수행하고 합성곱망을 R-CNN 검출 틀에 사용하는 결과를 평가한다. 사전 과제의 무주석 조건과 검출 학습 단계에서 사용하는 주석은 구분해야 한다.

문맥 모호함의 독립 예

설명용으로 반복되는 벽돌 두 패치는 어느 쪽이 위인지 여러 위치가 비슷해 보일 수 있다. 반면 창틀의 연결은 상대 위치 단서가 될 수 있다. 실제 연구 패치를 옮기지 않은 공간 감독의 예다.

관련 문서

직소 퍼즐 표현 학습 / RotNet 표현 학습 / LOCA 사전 학습 / 자기 지도 학습 / 합성곱 신경망 / DenseCL