DeepSeek 开源推理框架 DeepInfer：单集群日处理 155 万亿 token，毛利率超 80%

深度Latent Space2026年10月21日4 分钟阅读

DeepSeek 在 PyTorch Conf 第一天开源了生产级推理栈 DeepInfer，并首次披露单集群日处理 155 万亿 token、96% 输入缓存命中、毛利率超 80% 等运营数据。但“完全开源”并未包含 KV 缓存和负载均衡等核心组件，vLLM 团队则晒出性能接近的复现结果。

本文编译自 [AINews] DeepSeek DeepInfer: Open Source SOTA Inference running 155T toks/day/cluster making $22m/day at ~80% margin for a 81 day payback，版权归原作者所有。

觉得有用？分享给更多人

获取每周 AI 工具精选

工具推荐、实战教程和生态洞察，每周更新。

关注 @skillnav_dev →阅读周刊

Kubernetes 准备好运行 AI Agent 了吗？

Kubernetes 原本假设软件只做开发者让它做的事，但 AI Agent 会自主推理、调用工具、编写代码，打破了这一前提。文章讨论了 Agent 负载对 Kubernetes 提出的三大挑战：安全沙箱缺失、生命周期极短需要快速启动、以及监控难题，并介绍了社区正在探索的 agent substrate 方案——让 Agent 在热池中保持挂起状态以实现毫秒级恢复。

深度The New Stack·10月25日·5 分钟

AWS 安全智能体修复 89% 漏洞，但有个前提

AWS 正式发布代码安全智能体 Continuum，在其自研的 CyberGym-E2E 基准测试中取得 89% 的端到端修复成功率，相比之前公开最高分 65.9% 大幅提升。但基准测试仅覆盖 C/C++ 内存安全漏洞，且由 AWS 自行执行；在历史漏洞修复这一项上得分仅 37.8%，说明修复的未必是预设目标漏洞。

深度The New Stack·10月24日·3 分钟

DeepSeek 开源推理框架 DeepInfer：单集群日处理 155 万亿 token，毛利率超 80%

相关文章

Kubernetes 准备好运行 AI Agent 了吗？

AWS 安全智能体修复 89% 漏洞，但有个前提

评论