推理越来越便宜,为什么执行框架比模型更重要

深度The New Stack2026年9月19日6 分钟阅读
推理越来越便宜,为什么执行框架比模型更重要
Vercel 的 AI Gateway 报告显示,8 月平均每 token 价格下跌 23.2%,连续三个月下降。但推理变便宜的同时,真正决定模型能不能用的,是模型外面那层软件——也就是执行框架。

觉得有用?分享给更多人

获取每周 AI 工具精选

工具推荐、实战教程和生态洞察,每周更新。

相关文章

Hacktron AI 的研究员发现 Discourse 论坛图片处理链中 libheif 的堆缓冲区溢出漏洞,并借助 Anthropic 的 Claude Opus 5 串联起一条攻击链:从论坛图片上传到代码执行,再到 SSO token 权限过大,最终用 OpenAI 员工的 Codex 账号打开了私有仓库的 pull request。整个“HEIF Heist”项目历时约两个月,模型 token 花费不到 3000 美元。

深度The New Stack·9月18日·5 分钟

OpenAI 前研究员、RLHF 发明者 Diogo Almeida 创立 TypeSafe AI,推出非大语言模型 Jev。它只输出校准后的概率而非文本,因此成本极低、速度极快、且不会幻觉。开发者已将其用于安全分类、邮件分类和模型路由等场景,还有人用它来监督 LLM Agent 的行为。

深度·9月18日·5 分钟

评论