AutoJudge：自动筛选无关 token，推理加速 1.5-2 倍
深度2025年12月3日5 分钟阅读
AutoJudge 通过自监督学习训练轻量级分类器，自动识别哪些 token 不匹配会影响最终答案质量，从而在推测解码中安全接受更多草稿 token。相比标准方法，它能接受多达 40 个 token，实现 1.5-2 倍加速，且无需人工标注。
本文编译自 Introducing AutoJudge: Streamlined inference acceleration via automated dataset curation，版权归原作者所有。
觉得有用？分享给更多人