여러 방향의 일관성
정면 이미지가 자연스러워도 옆이나 뒤에서 같은 머리로 보인다는 보장은 없다. 이미지 생성 모델을 3차원 제작에 활용할 때에는 시점 간 구조가 충돌할 수 있다. 이 방법은 머리의 구조적 단서와 방향 정보를 생성 과정에 활용한다.
방향을 구별하는 정보
랜드마크 기반 제어와 뒷모습을 나타내는 학습된 텍스트 임베딩을 사용한다. 앞과 뒤를 단순히 같은 얼굴 이미지로 취급하지 않도록 하는 구성이다. 이런 단서는 생성에 도움을 주지만 실제 사람의 보이지 않는 뒷모습을 사진처럼 알아내는 관측 자료는 아니다.
편집과 정체성
편집에서는 지시한 변화뿐 아니라 유지할 특징도 중요하다. 머리 색만 바꾸려는 요청에서 얼굴형까지 크게 달라진다면 편집 목적과 어긋난다. HeadSculpt는 정체성을 고려한 편집 점수 증류와 미분 가능한 렌더링을 사용해 질감 있는 메시를 조정한다.
결과를 살펴보는 방법
정면 한 장의 인상과 회전시킨 결과를 구분해 살펴본다. 예를 들어 같은 아바타의 정면, 측면, 후면을 비교하면 한 방향에서만 보이는 돌출이나 질감의 이음새를 찾을 수 있다. 생성 결과의 사람과 닮은 정도, 편집 지시 반영 및 시점 일관성은 각각 확인할 항목이다.
관련 문서
NeRF / 3D 가우시안 스플래팅 / NeuS / VolSDF / 확산 모형 / 텍스트 임베딩