给系统工程师的 LLM 推理基础设施指南
指南2026年3月13日2 分钟阅读
这篇文章从系统设计的角度，拆解了 LLM 推理的基础知识和当前主流的服务运行时生态。它面向的是想了解大规模 LLM 服务背后系统、但缺乏机器学习背景的基础设施开发者。
本文编译自 LLM inference infrastructure for a systems audience，版权归原作者所有。
觉得有用？分享给更多人
相关文章
GitHub 推出 Agent Apps，让 Amplitude、Endor Labs、LaunchDarkly 和 PagerDuty 直接集成到 PR 评论和 Agents 标签页。开发者用自然语言指令即可获得数据验证、依赖审查、功能开关设置和部署风险评估，减少了跨工具上下文切换。
指南GitHub·8月14日·5 分钟
llm-gemini 0.33 支持 Gemini 3.7 Flash、3.6 Flash 和 3.5 Flash Lite，以及两个嵌入模型，并适配 LLM 0.32 的新特性。作者测试了高、中、低思考强度下的绘图效果，指出 Safari 与 Firefox/Chrome 对 SVG filter 的渲染差异导致鹈鹕消失。
指南Simon Willison·8月13日·3 分钟