TIDE:扩散大语言模型的跨架构知识蒸馏
深度2026年5月5日29 分钟阅读
本文首次实现扩散大语言模型的跨架构知识蒸馏,学生模型体积仅为教师的1/13,性能却显著超越自回归基线。对AI压缩、代码生成和高效模型部署感兴趣的研究者应关注此工作。
本文编译自 Turning the TIDE: Cross-Architecture Distillation for Diffusion Large Language Models,版权归原作者所有。
觉得有用?分享给更多人
觉得有用?分享给更多人
Cymphony 完成 2500 万美元 A 轮融资,红杉与 SMBC Fin Atlas Beyond Fund 联合领投,估值超 1 亿美元。该公司通过“劳动力图谱”整合身份、数据和活动信号,为安全团队提供统一视图,应对 AI 智能体带来的新型企业安全风险。
Harness 现场 CTO Martin Reynolds 表示,AI 编码代理让 PR 数量激增,测试团队不堪重负。他认为代码审查应聚焦于真正的变更,而非脚手架文件。为此,Harness 重写了面向 AI 的 Git 仓库,并推出了 AI 审查工具。