위키득계정 ↗
기술

SampleRNN

SampleRNN기술
과제
무조건 오디오 생성
출력 진행
샘플 단위 자기회귀
계층 구성
다층 퍼셉트론과 순환 신경망
목적
여러 시간 규모의 변화 포착
SampleRNN은 오디오 샘플을 하나씩 생성하는 무조건 신경망 오디오 모델이다. 자기회귀 다층 퍼셉트론과 상태를 갖는 순환 신경망을 계층적으로 결합해 긴 시간의 변화를 다룬다.

서로 다른 기억 방식

현재 입력을 처리하는 모듈과 과거 상태를 유지하는 순환 모듈을 계층으로 결합한다. 짧은 구간의 세부와 더 긴 시간에 걸친 변화를 함께 모델링하려는 구성이다.

순서대로 파형 만들기

한 오디오 샘플을 만든 뒤 다음 샘플로 진행하는 생성 방식을 사용한다. 여러 시간 규모의 표현이 있어도 최종 파형을 샘플 단위로 생성한다는 성질은 유지된다.

무조건 생성의 범위

이 연구의 무조건 생성은 외부의 문장이나 특정 종류 라벨을 생성 조건으로 요구하지 않는 과제를 뜻한다. 사람이 원하는 문장을 정확히 읽는 텍스트 음성 합성과 혼동해서는 안 된다.

계층 구조의 평가

연구는 성격이 다른 세 데이터셋과 구성 요소 분석을 통해 모델을 평가한다. 어떤 계층을 제거했을 때 짧은 질감과 긴 흐름 중 무엇이 달라지는지 살피면 계층별 기여를 구별할 수 있다.

관련 문서

WaveNet / WaveGAN / AudioLM / GANSynth / MusicLM / MelGAN