숨은 다양체 모형

독립 좌표 가정과의 차이

입력의 각 성분을 독립적으로 생성하면 실제 데이터의 상관 구조를 표현하기 어렵다. 숨은 다양체 모형은 잠재 변수를 높은 차원으로 변환해 입력을 만들고 정답도 잠재 변수에 연결한다. 관측 차원과 잠재 차원을 구분하는 설계다.

저차원 구조의 독립 예제

한 실수 z에서 관측 x=(z, 2z, z²)를 만든다고 하자. 관측 성분은 세 개지만 자유롭게 바뀌는 변수는 하나다. 둘째 성분은 첫째의 두 배이고 셋째는 그 제곱이어서 서로 독립이 아니다. 이는 저차원 구조를 설명하는 예로 논문의 특정 생성 함수를 지정한 것은 아니다.

라벨과 학습 문제

위 예에서 z의 부호를 라벨로 정하면 라벨은 잠재 위치에 의해 결정된다. 입력을 높은 차원으로 표현했다는 사실만으로 분류가 어려워지거나 쉬워진다고 단정할 수는 없다. 변환의 성질과 관측 잡음, 모형의 표현력이 영향을 준다.

이론의 적용 범위

이론 모형은 특정 조건 아래 학습 과정과 일반화 오차를 분석하기 위한 것이다. 실험 데이터가 실제로 같은 생성 규칙을 따른다는 증명은 아니다. 여기서 HMM이라는 약칭은 은닉 마르코프 모형과 다른 뜻이므로 문맥을 확인해야 한다.