多智能体系统的 Token 优化:从路由到缓存的省钱架构
教程The New Stack2026年8月20日12 分钟阅读

在生产环境中,多智能体系统最大的开销往往不是模型本身,而是重复检索、冗余提示和不必要的工具调用。这篇文章从架构层面给出了 10 个实操步骤,教你如何在保持输出质量的同时,把 Token 消耗和延迟降下来。
觉得有用?分享给更多人

觉得有用?分享给更多人
智能体流量与 Web 流量有四个关键差异:对话有状态但请求无状态、工具调用扇出不可预测、重试激进、负载突发。单体 API 在单机下正常,一旦水平扩展就会静默丢失上下文。解法是把计算拆开、把数据收拢:网关、记忆、工具各自独立,但会话状态、工具审计、向量记忆和幂等账本放在同一个数据库事务里提交。
Canvas(画布扩展)是 GitHub Copilot 应用里的一种可定制界面,由你和 Agent 共享。输入 /create-canvas 并用自然语言描述需求,Agent 就会自动生成界面。它支持双向同步:你点按钮、拖卡片,Agent 立刻看得到;Agent 更新内容,你也马上能看到。