위키득계정 ↗
기술

SaltiNet

SaltiNet기술
입력
360도 영상
중간 표현
시간 정보를 갖는 현저성 볼륨
학습 손실
이진 교차 엔트로피
경로 생성
볼륨 위의 표본 추출
SaltiNet은 360도 영상의 주시 순서를 현저성 볼륨에서 생성하는 모델이다. 시간 정보를 포함한 현저성 표현을 학습하고 그 위에서 표본 추출해 시선 경로를 만든다.

지도에서 볼륨으로

한 장의 공간 현저성 지도에 시간 정보를 더한 현저성 볼륨을 사용한다. 관찰 시간에 따라 달라지는 주의 정보를 경로 생성에 활용하려는 표현이다.

볼륨의 학습

모델의 첫 부분은 현저성 볼륨을 생성하도록 학습한다. 축소한 볼륨에 이진 교차 엔트로피를 계산해 예측 매개변수를 갱신한다.

표본 추출과 경로

학습한 볼륨에 여러 표본 추출 전략을 적용해 360도 영상의 주시 경로를 만든다. 분포를 예측하는 단계와 특정 경로를 얻는 단계를 구별할 수 있다.

전방위 좌표의 의미

전방위 영상을 평면에 펼친 좌표에서는 가장자리의 두 위치가 실제로 가까울 수 있다. 경로 길이와 이동 방향을 평가할 때 화면상의 거리와 구면 위 거리를 혼동하지 않아야 한다.

관련 문서

DiffGaze / PathGAN / TempSAL / UMSS / 표본 추출 / 컴퓨터 비전