Ai! Jack!v2026.04.01-f12
← 홈HF Daily Papers

Unlocking Lossless Speedups in LLMs via Discrete Diffusion

원문 보기

AI 분석

•기여: 기존 자기회귀 모델의 분포를 유지하면서 여러 토큰을 병렬 생성하는 diffusion 증강 LLM Uno와 무손실 가속 샘플러 Ψ-Spec 제안
•방법: 표준 다음 토큰 예측으로 학습하는 AR 가중치와 병렬 생성을 담당하는 경량 diffusion 가중치를 분리하고, Diffusion Distillation로 후자를 학습. 별도 초안 모델 없이 기존 공개 가중치 AR 모델에도 적용 가능한 구조임
•결과: 평가한 모든 배치 크기에서 비교 대상 speculative decoding보다 높은 처리량과 기본 AR 모델 대비 최대 3배 가속 보고. 8B Uno가 평가한 에이전트 도구 사용·코딩·긴 문맥 추론 벤치마크 모두에서 26B DiffusionGemma와 Mercury 2를 상회했다고 보고
•한계: 추가 diffusion 가중치 학습이 필요하며, 최대 가속 수치의 하드웨어·워크로드별 조건은 초록에 미제시. 무손실은 동일 문장 출력이 아니라 기반 AR 분포 보존을 뜻함

검증 정보

출처
huggingface.co
피드
HF Daily Papers
수집/분석 기준
2026. 9. 8. 오전 9:00
원문 확인
원문 열기

본문

Large Language Models (LLMs) owe much of their success to next-token prediction (NTP), but their autoregressive (AR) structure requires slow, sequential token generation. To overcome this bottleneck, we introduce diffusion-augmented LLMs, a new class of models that defines an AR model distribution while using diffusion to draw multiple tokens in parallel from that distribution. We decouple the parameters of these models into two sets: AR weights, trained using the standard NTP objective, and lightweight diffusion weights, trained to generate multiple tokens simultaneously. The diffusion weights are learned through a simple Diffusion Distillation phase that adds negligible overhead to existing LLM training pipelines. We also introduce Ψ-Spec, a family of samplers that enables lossless acceleration and inference-time scaling at a fixed context length. Unlike speculative decoding, our method requires no separate draft model. Unlike diffusion LLMs (d-LLMs), it accelerates generation without sacrificing the quality of the underlying AR model. The resulting models, called Uno, can be trained from scratch or built by augmenting existing open-weight AR LLMs. Uno achieves higher throughput than leading speculative-decoding methods at every evaluated batch size and delivers up to 3times speedups over the base AR model, including at the largest batch size supported by the device. Notably, our 8B Uno model outperforms the leading open d-LLM, the 26B DiffusionGemma, and the proprietary Mercury 2 across all evaluated benchmarks in agentic tool use, coding, and long-context reasoning. We release code and checkpoints at: https://s-sahoo.github.io/uno/