시점과 내용의 결합
요청이 올 때만 답하는 방식과 달리 먼저 안내하려면 개입 시점을 판단해야 한다. EgoVoice는 말할 필요가 있는지와 어떤 내용을 말할지를 함께 다룬다.
학습 자료의 재구성
HoloAssist의 실제 안내자 기록에서 음원 분리와 음성 재합성으로 깨끗한 음성 흐름을 구성한다. 매 순간 침묵하거나 안내하도록 세션을 변환하므로 원래 음성을 그대로 사용한 기록과 구분된다.
모델의 조정
여러 모달을 처리하는 언어 모델을 미세 조정하고 직접 선호 최적화로 선제적 개입 행동을 보완한다. 관련 실험은 개입 시점과 내용의 적절성 및 사람의 선호를 평가한다.
안내의 평가 범위
말을 많이 하는 것이 좋은 지원을 뜻하지는 않는다. 필요한 순간을 놓치는 경우와 불필요하게 끼어드는 경우를 함께 고려해야 하며, 자료에서의 선호 결과와 실제 작업 성공도 구분해야 한다.
관련 문서
HoloAssist / ENIGMA-51 / MECCANO 행동 데이터셋 / Ego4D / GIMO / 직접 선호 최적화