定制推测解码让 DeepSeek-R1 提速 1.85-2.97 倍
深度2025年5月12日5 分钟阅读
用自己推理数据训练定制推测器（Custom Speculator），DeepSeek-R1 解码速度比 Together 基础推测器提升 1.23-1.45 倍，整体成本降低约 25%。相比传统逐词预测，速度提升最高达 2.97 倍，成本削减超 55%。
觉得有用？分享给更多人
相关文章
OpenAI 的 Decisions API 进入公测并加入图像输入，能在文本或图像上输出谓词、选项、分数三类结构化结果，模型跑在 GPT-6 Luna 上，按每百万输入 token 0.10 美元计费。Perplexity、Cloudflare、Amazon 也在本月发布了各自的开放权重决策模型，可下载自部署。OpenAI 坚持托管 API 的做法，可能成为开发者选型的关键差异。
深度The New Stack·10月7日·4 分钟
Haiku 5.5 定价 $0.10/$0.50 每百万 token（10 万 token 内），超过后涨价 5 倍；但新分词器让相同提示词多消耗约 1.25 倍 token，存在隐性涨价。Anthropic 同时将 Sonnet 5.5 的缓存读取价格减半，并为 Max 和 Team 订阅用户提供每月 API 额度。
深度Simon Willison·10月7日·4 分钟