위키득계정 ↗
기술

Context Encoders

Context Encoders기술
연구 이름
Feature Learning by Inpainting
입력 조건
빠진 영역 주변의 문맥
사전 과제
빠진 이미지 영역 생성
학습 손실
픽셀 재구성과 적대적 손실의 비교
Context Encoders는 이미지의 주변 문맥으로 비어 있는 영역의 내용을 생성하도록 합성곱망을 학습하는 비지도 시각 표현 방법이다. 인페인팅 과제를 통해 외형뿐 아니라 장면의 의미 구조를 담는 특징을 얻으려 한다.

빈 영역이 주는 학습 목표

주변을 보고 빠진 내용을 채우려면 전체 영상의 내용과 가능한 빈 영역의 모습을 함께 이해해야 한다. Context Encoders는 이 문맥 기반 픽셀 예측으로 수동 주석 없는 시각 특징을 학습한다.

재구성과 적대적 기준

연구는 표준 픽셀 재구성 손실과 재구성에 적대적 손실을 더한 경우를 비교한다. 여러 가능한 출력을 다루는 차이가 생성 결과의 선명함에 영향을 줄 수 있다. 선명한 추정이 실제 가려진 내용과 동일함을 뜻하지는 않는다.

표현의 전이와 인페인팅

학습 특징을 분류와 검출, 분할의 합성곱망 사전 학습에 활용해 평가한다. 모형 자체를 의미 인페인팅에 쓰거나 비매개변수 방법의 초기화로 사용하는 방식도 다룬다. 표현 평가와 생성 평가를 구분해야 한다.

가능한 완성의 독립 예

설명용으로 창문 아래를 가린 사진은 화분이 있는 장면과 없는 장면 모두로 자연스럽게 완성될 수 있다. 그럴듯한 완성 하나로 실제 가림 내용을 증명할 수는 없다. 실제 연구 이미지를 옮기지 않은 문맥 생성의 예다.

관련 문서

자기 지도 학습 / 합성곱 신경망 / 분류 기반 자동 채색 / 문맥 예측 표현 학습 / 직소 퍼즐 표현 학습 / RAM 이미지 복원