위키득계정 ↗
기술

가우스 무작위 투영

가우스 무작위 투영기술
영문명
Gaussian random projection
변환
무작위 행렬을 이용한 선형 변환
계수 분포
목표 차원이 m이면 평균 0, 분산 1/m
주요 목적
거리 구조를 고려한 차원 축소
가우스 무작위 투영은 정규분포에서 뽑은 계수로 선형 변환을 구성해 자료를 다른 차원의 좌표로 옮기는 방법이다. 자료의 주요 축을 학습하는 대신 무작위 행렬을 사용하며, 적절한 차원에서 유한한 표본들의 거리 구조를 근사적으로 보존하는 데 활용한다.

행렬을 정하기

원래 좌표가 d차원이고 목표가 m차원이면 m×d 행렬 R을 만들고 벡터 x를 Rx로 옮긴다. 각 계수는 서로 독립인 평균 0, 분산 1/m의 정규분포에서 뽑는다. 여기서 1/m은 표준편차가 아니라 분산이다. 한 번 정한 행렬을 모든 표본에 공통으로 적용한다.

길이의 기대값

고정된 벡터 x=(3,4)를 목표 차원 2로 투영한다고 하자. 각 출력 좌표의 평균은 0이고 분산은 (9+16)/2=12.5다. 따라서 두 출력 좌표의 제곱 합의 기대값은 25로 원래 길이의 제곱과 같다. 그러나 실제로 한 번 뽑은 행렬의 출력 길이가 반드시 5인 것은 아니다.

거리 보존의 의미

두 점 사이 차이도 같은 선형 변환을 받으므로 길이에 관한 성질이 거리 비교에 이어진다. 유한한 표본 집합에서는 목표 차원을 충분히 두어 거리 왜곡을 높은 확률로 제한하는 이론을 사용할 수 있다. 이는 모든 가능한 벡터의 거리를 동시에 정확히 보존하거나 임의로 작은 차원에서도 잘 된다는 보장은 아니다.

주성분 분석과 비교

주성분 분석은 자료의 분산 방향을 추정하지만 가우스 무작위 투영은 표본 값에서 주요 축을 찾는 방식이 아니다. 무작위 시드와 출력 차원을 기록해야 변환을 재현하기 쉽다. 차원을 줄이면 일반적으로 정보를 잃으며 의사역행렬을 사용해도 원자료가 항상 정확히 복원되지는 않는다. 실제 거리 왜곡과 후속 작업의 성능도 확인해야 한다.

관련 문서

정규분포 / 분산 / 기대값 / 행렬 곱셈 / 주성분 분석 / 유클리드 거리 / 의사역행렬 / 기계 학습