Ai! Jack!v2026.04.01-f12
← 홈HF Daily Papers

What Else Needs Fixing? Exploring Cost-Effective Test-Time Compute for Revision Propagation in Artifacts Generated Through Conversation

원문 보기

AI 분석

•기여: 대화로 생성한 산출물의 국소 수정이 관련 부분 전체에 일관되게 전파되는지 평가하는 새 벤치마크와 비용 효율적인 추론 시점 계산 전략 연구
•방법: 대화 이력에 포함된 의존관계를 반영하는 수정 작업에서 순차적 성찰과 병렬 샘플링 등을 포함한 9개 방법을 gpt-oss-20b/120b, gpt-5.4-mini, qwen3.5-9b/27b/122b로 비교
•결과: 기본 방법 정확도는 68.3~93%이며, 병렬로 생성한 3개 후보 중 LLM 또는 medoid 방식으로 선택하는 전략이 가장 비용 효율적이고 정확도 2.2~9.7% 개선 보고
•한계: 초록에서 개선 수치가 상대 개선율인지 퍼센트포인트 차이인지 명시하지 않았으며, 최적 전략은 평가한 모델·방법·벤치마크 범위의 결론임

검증 정보

출처
huggingface.co
피드
HF Daily Papers
수집/분석 기준
2026. 9. 8. 오전 9:00
원문 확인
원문 열기

본문

Large Language Models (LLMs) often help users generate artifacts through iterative cycles of generation and revision in conversation. A challenge here is that, when users specify only a local change during revision, LLMs must instead identify the relevant dependencies and propagate the revision to all affected parts of the artifact. This paper studies this ability of LLMs on conversationally generated artifacts, where the artifact context and its dependencies may be embedded in the conversation history. Toward practical use, we also explore cost-effective test-time compute for this new setting. Specifically, we introduce a new benchmark for this setting, and evaluate nine revision methods, including sequential reflection and parallel sampling variants, using gpt-oss-20b/120b, gpt-5.4-mini, and qwen3.5-9b/27b/122b on the benchmark. The results show that baselines achieve accuracies of 68.3--93%, and the most cost-effective method is selecting from three parallel samples using either LLM-based or medoid selection, which improves accuracy by 2.2--9.7%. Our code and dataset are available at https://github.com/ntt-dkiku/llm-revision-propagation.

또 어디를 고쳐야 할까? 대화로 만든 산출물의 수정 전파를 위한 비용 효율적 추론 연산 — Ai! Jack! — Ai! Jack!