Draft-OPD:在线策略蒸馏实现推测解码加速
深度2026年6月4日31 分钟阅读
最有趣的发现:训练草稿模型时,采用在线策略蒸馏可显著提升接受率,而传统监督微调很快停滞。适合对LLM推理加速、推测解码算法感兴趣的读者。
本文编译自 Draft-OPD: On-Policy Distillation for Speculative Draft Models,版权归原作者所有。
觉得有用?分享给更多人
觉得有用?分享给更多人
Cloudflare Managed Defense 的 AI agent 执行框架把证据采集和范围限定放在应用代码里,先执行固定侦察工作流,再用 Clef 过滤噪音,由协调者智能体调度流量分析、客户上下文、全局遥测和威胁情报四个专职智能体并行分析,最后合成建议。系统全程记录证据来源与缺失,模型没有越权决策的权限,最终判断权仍归人类分析师。
Infino 由前 AWS OpenSearch 团队创立,推出开源 Agent 检索平台。核心思路是把所有数据统一存为 Parquet,在 SQL 中嵌入检索函数,让 Agent 用一次查询完成关键词搜索、语义搜索、过滤和聚合。