把删块当成伊辛问题:LLM 深度剪枝新思路

深度Hugging Face2026年9月21日7 分钟阅读
把删块当成伊辛问题:LLM 深度剪枝新思路
去掉整个 transformer 块是让大模型跑得更快、更省内存最直接的办法,但难点在于选哪些块——因为块与块之间存在耦合,选错一个模型就可能崩掉。Multiverse Computing 的论文把块选择重写成受约束的二值优化问题,映射到伊辛玻璃模型,在 Llama-3.3-70B-Instruct 压缩 50% 时 MMLU 比最强基线高出近 23 个百分点。

觉得有用?分享给更多人

获取每周 AI 工具精选

工具推荐、实战教程和生态洞察,每周更新。

相关文章

作者在自己手机上复现了 OpenAI 广告像素的完整链路,并用两种独立抓包方式交叉验证,覆盖 936 个广告主像素、1,029 个主机名。__obi 是唯一使用 SameSite=None 的 OpenAI 标识符,能在跨站请求中存活,匿名状态下同样稳定。OpenAI 的 cookie 政策把它归入分析类 cookie,但对作者的两封询问邮件未作实质回答。

深度·9月20日·6 分钟

英伟达将智能体栈拆为模型、执行框架和运行时三层,认为失败往往不来自模型本身。OpenShell 运行时负责沙箱与治理,成为参考架构中的固定组件。英伟达参与的 SAFE 项目借鉴漏洞披露机制,让约 140 家公司共享智能体故障发现,避免各自重复踩坑。

深度The New Stack·9月20日·5 分钟

评论