用深度剪枝草稿模型在 Intel® Core™ Ultra 加速 Qwen3-8B 智能体

指南Hugging Face2025年9月29日4 分钟阅读
用深度剪枝草稿模型在 Intel® Core™ Ultra 加速 Qwen3-8B 智能体
通过 OpenVINO.GenAI 的推测解码技术,Qwen3-8B 在 Intel® Core™ Ultra 上的生成速度提升了约 1.3 倍。进一步对草稿模型进行深度剪枝后,加速比提升至约 1.4 倍。

觉得有用?分享给更多人

获取每周 AI 工具精选

工具推荐、实战教程和生态洞察,每周更新。

相关文章

Nous Research 以 15 亿美元估值完成 9000 万美元 B 轮融资,由 Robot Ventures 领投,Nvidia、USV、Menlo Ventures、三星等参投,累计融资达 1.58 亿美元。公司将借助这笔资金推出面向企业的 Hermes for Businesses,让企业部署可处理多步骤工作流且数据私密安全的定制化 AI Agent。

指南·10月7日·2 分钟

微软在旧金山 Tech Week 活动上公布了两款基于英伟达 RTX Spark 芯片的 AI PC:Surface Laptop Ultra 和 Surface RTX Spark Dev Box,主打本地免费跑 AI 模型。新版 Windows 11 引入“执行容器”功能,方便对 AI Agent 做沙箱隔离,且面向所有 Windows 11 用户开放。戴尔同期公布了 XPS 16 Creator Edition 的预售信息。

指南·10月7日·3 分钟

评论