시간 요구의 차이
음성 대화는 즉각적인 반응이 중요하지만 외부 도구 사용이나 복잡한 추론에는 걸리는 시간이 일정하지 않다. SALMONN-duo는 이 두 요구를 분리해 빠른 대화 시스템과 비동기 에이전트를 조합한다.
적응적인 처리 위임
빠른 시스템은 직접 답할 때와 느린 시스템에 맡길 때를 구분한다. 뒤쪽 처리가 진행되는 동안 대화를 유지하고 돌아온 정보를 기존 문맥에 통합하도록 한다. 모든 질문을 무조건 외부 처리로 넘기는 설계는 아니다.
학습과 평가
지식 경계를 고려한 학습으로 불필요한 호출을 줄이고 비용을 고려한 강화 학습으로 과제 성능과 사용량 사이의 균형을 조정한다. 단일 질문 답변과 여러 차례 대화, 맞춤형 업무 환경 과제에서 이를 평가한다.
응답과 완료의 구분
예약 상태를 조회하는 동안 질문을 확인해 주는 응답과 실제 조회 결과를 전달하는 응답은 다르다. 대화가 끊기지 않는다는 이유만으로 조회가 완료된 것으로 처리해서는 안 되며 반환 정보와 진행 중 상태를 구분해야 한다.
관련 문서
SALMONN / SALMONN-2 / Qwen2-Audio / 음성 인식 / 강화 학습 / 언어 모델