Ai! Jack!v2026.04.01-f12
← 홈HF Daily Papers

Verify Before You Distill: Prompt-Level Teacher Gating for On-Policy Distillation

원문 보기

AI 분석

•기여: 교사 모델의 신뢰도를 프롬프트별로 검증한 뒤 증류 적용 여부를 결정하는 TGOPD 제안
•방법: 검증기로 채점한 소수의 교사 응답으로 신뢰도를 추정하고, 통과한 프롬프트는 조밀한 토큰 단위 OPD로, 나머지는 검증기 기반 GRPO로 배타적으로 분기
•결과: 4B·35B 학생 모델의 수학·코드·지시 이행 분야에서 단일 도메인 6개 설정 모두 Vanilla OPD를 상회하고, 다중 도메인 학습에서도 두 규모 모두 7개 벤치마크 평균 개선. 측정된 4B 단일 도메인 실행에서 교사 노드 GPU 활용률이 9.8%에서 78.9%로 증가
•한계: 신뢰도 판정이 검증기의 정확성과 소수 응답의 대표성에 의존하며, GPU 활용률 향상이 전체 학습 비용 감소를 직접 의미하는 것은 아님

검증 정보

출처
huggingface.co
피드
HF Daily Papers
수집/분석 기준
2026. 9. 8. 오전 9:00
원문 확인
원문 열기

본문

On-policy distillation (OPD) accelerates post-training by providing dense token-level supervision from a frozen teacher on the student's own rollouts. Vanilla OPD applies this supervision uniformly across prompts, without checking whether the teacher is reliable for each prompt. Because reverse KL is mode-seeking, a confidently wrong teacher can induce a strong yet misleading update. Distributional proxies, such as entropy or teacher-student likelihood agreement, measure uncertainty or agreement but do not directly verify outcome correctness. We introduce Teacher-Gated On-Policy Distillation (TGOPD), built on the principle that teacher reliability should be verified at the prompt level before dense supervision is admitted. TGOPD estimates reliability from a small set of verifier-scored teacher probes and routes each prompt exclusively to dense OPD when the reliability check passes or to verifier-grounded GRPO otherwise. Across 4B and 35B students in mathematics, code, and instruction following, TGOPD outperforms Vanilla OPD in all six single-domain settings and achieves higher seven-benchmark averages at both scales under multi-domain training. By using otherwise-idle teacher capacity for reliability estimation, TGOPD also reduces teacher-side compute waste in asynchronous OPD, increasing teacher-node GPU utilization from 9.8% to 78.9% in the measured 4B single-domain run.

증류 전에 검증하기: On-Policy Distillation을 위한 프롬프트별 교사 신뢰도 게이팅 — Ai! Jack! — Ai! Jack!