위키득계정 ↗
기술

COLA 오디오 표현

COLA 오디오 표현기술
학습 방식
자기 지도 대조 학습
양성 관계
같은 녹음의 구간
음성 관계
다른 녹음의 구간
사전 학습 자료
AudioSet
COLA 오디오 표현은 같은 녹음에서 얻은 소리 구간을 가깝게, 다른 녹음의 구간을 멀게 학습하는 대조적 사전 학습 방식이다. 다양한 오디오 분류에 전이할 수 있는 범용 임베딩을 목표로 한다.

녹음에서 관계 만들기

같은 녹음에서 뽑은 오디오 구간에 높은 유사도를, 다른 녹음에서 뽑은 구간에 낮은 유사도를 주는 표현을 학습한다. 별도의 분류 라벨 대신 자료의 출처 관계를 학습 신호로 삼는다.

범용 임베딩의 전이

AudioSet에서 임베딩을 사전 학습하고 음성, 음악, 동물 소리, 음향 장면 등을 포함한 아홉 분류 과제로 옮겨 평가한다. 한 종류의 소리만을 위한 표현과 다른 범위를 지향한다.

설계 선택의 분석

가볍고 구현하기 쉬운 모델을 목표로 하며 구성 요소를 제거하는 실험으로 주요 설계의 영향을 살핀다. 단순한 구조라도 어떤 입력 관계를 목표로 정했는지가 중요하다.

같은 녹음이라는 가정

가상의 긴 녹음 앞부분에 대화가 있고 뒷부분에 음악이 있다면 같은 녹음의 두 구간이 항상 같은 의미는 아닐 수 있다. 학습용 양성 관계와 사람이 판단하는 의미적 동일성을 구별해야 한다.

관련 문서

CLMR / BYOL-A / BEATs / AudioSet / HEAR 오디오 표현 평가 / PANNs