Ai! Jack!v2026.04.01-f12
← 홈HF Daily Papers

Training-Free Speech-Centric Omni Understanding with Frozen VLMs

원문 보기
아랍에미리트

AI 분석

•기여: VLM 재학습이나 구조 변경 없이 음성 중심 시청각 이해를 추가하는 Training-Free Omni(TFO) 제안
•방법: Whisper로 신뢰도 필터링과 타임스탬프가 적용된 전사문을 추출해 기존 언어 인터페이스로 전달하고, VLM 가중치와 시각 처리 경로는 유지
•결과: 56개 벤치마크·21개 언어의 대응 비교에서 네이티브 omni 모델과 경쟁력 있는 시청각 이해 성능을 보이고, 5개 모델 설정 모두에서 오디오 단독 평균 성능 개선. 기존 시각 이해와 추론 능력도 대응하는 omni 체크포인트보다 대체로 잘 보존함
•한계: 적용 범위가 음성 중심이며, 전사문에 담기지 않는 음색·억양·비언어적 소리까지 동일한 방식으로 충분히 처리한다는 근거는 아님

검증 정보

출처
huggingface.co
피드
HF Daily Papers
수집/분석 기준
2026. 9. 8. 오전 9:00
원문 확인
원문 열기

본문

Audio-visual understanding remains challenging because models must jointly interpret spoken content, visual events, and their temporal relationships. Existing omni models typically introduce dedicated audio encoders and rely on expensive audio-video-text training, tightly coupling omni capability to specific VLM backbones and potentially weakening their existing visual and reasoning abilities. This raises three questions: whether native omni training is necessary for every new VLM, whether speech-centric omni capability can be added while preserving the original backbone, and where richer acoustic representations remain essential. We introduce Training-Free Omni (TFO), a plug-and-play framework that converts a frozen VLM into a speech-centric omni model without architectural modification, or multimodal re-alignment. TFO uses Whisper to extract confidence-filtered, timestamped transcripts and routes them through the VLM's existing language interface, while leaving its visual pathway unchanged. Across matched comparisons with native omni models on 56 benchmarks and 21 languages, TFO is competitive on audio-visual understanding, improves average audio-only performance across all five model settings, and achieves substantial multilingual speech gains. Freezing the VLM also generally preserves stronger image/video understanding, visual grounding, coding, mathematical reasoning, and medical question answering than the corresponding native omni checkpoints. These results show that strong speech-centric omni understanding can often be obtained through modular audio-to-language routing rather than costly backbone-specific training.

고정된 VLM으로 추가 학습 없이 구현하는 음성 중심 옴니 이해 — Ai! Jack! — Ai! Jack!