S
SkillNav

定制推测解码让 DeepSeek-R1 提速 1.85-2.97 倍

深度2025年5月12日5 分钟阅读
定制推测解码让 DeepSeek-R1 提速 1.85-2.97 倍
用自己推理数据训练定制推测器（Custom Speculator），DeepSeek-R1 解码速度比 Together 基础推测器提升 1.23-1.45 倍，整体成本降低约 25%。相比传统逐词预测，速度提升最高达 2.97 倍，成本削减超 55%。
本文编译自 Boosting DeepSeek-R1’s Speed with Customized Speculative Decoding，版权归原作者所有。

觉得有用？分享给更多人

获取每周 AI 工具精选

工具推荐、实战教程和生态洞察，每周更新。

关注 @skillnav_dev →阅读周刊

相关文章

Safari 变成 AI 代理可操控的浏览器

苹果为 Safari 推出了内置 MCP 服务器，提供 16 个工具让 AI 代理直接控制浏览器。这是苹果一个月内发布的第二个官方 MCP 服务器，表明 MCP 正成为平台标准基础设施。

深度The New Stack·7月3日·4 分钟

Vercel 首席软件官谈 Agent：一种新形态的软件

Vercel 首席软件官 Andrew Qu 在访谈中阐述了 Agent 作为一种新软件形态的独特需求，并分享了 Vercel 从构建内部 Agent 到推出框架 eve 的历程。他强调了 Skills 在知识校正、Sandbox 在安全执行中的作用，并预测未来网站需要为 Agent 提供机器可读的界面。

深度Latent Space·7月3日·6 分钟

评论