上下文腐化拖垮企业 AI，Elastic 专家支招破解

如今最常被引用的商业信条之一是：企业若想成功，数据就是一切。这句话被重复了几十年，但随着 AI 和 AI 智能体的迅猛扩张和广泛应用，它可能不再成立。

企业每天都在学到新的一课：数据固然重要，但在使用 AI 时，数据的上下文可能更为关键。

那么，是什么变了？

随着 AI 势头渐起，一些意想不到的后果开始搅乱局面，其中就包括恼人的“上下文腐化”问题。当企业为 AI 使用积累起庞大的关键数据池时，上下文腐化就发生了。对于企业和数据科学家来说，这带来了重大挑战。

什么是“上下文腐化”？

事实证明，有时好东西也可能太多——尤其是在向 AI 智能体和大语言模型（LLM）引入海量新数据时。

问题在于，随着更多新数据的加入，它们可能与已有的旧数据产生冲突，稀释结果、引入矛盾的上下文，导致智能体和 LLM 变得困惑和迟钝。这种上下文腐化破坏了产出高质量、可信 AI 结果的微妙平衡。事实证明，上下文相关性对于成功地将海量数据池用于 AI、智能体搜索和混合搜索至关重要。

由于新数据不断涌入，而过时数据未被移除，处理这些数据的 LLM 会在其“注意力预算”耗尽时达到饱和点。它们会过载，根本无法处理接收到的每一个新数据片段。模型随后会失去焦点，偏离自身推理，从而削弱了 AI 的优势和速度。上下文工程（Context Engineering）正是源于帮助企业学会管理模型有限注意力的需求。

对于业务用户而言，这种严重的干扰会在其关键业务数据中造成停滞不前、日益混乱的局面。

企业使用 AI 时，上下文腐化问题如何显现

当上下文腐化在企业使用 AI 和 LLM 的过程中引发这些问题时，他们会通过几种显著的方式看到并体验到。开源 AI 搜索平台供应商 Elastic 的高级数据科学家 Abhimanyu Anand 解释道。

“一种情况是你的 AI 智能体或系统陷入循环，并且上下文相互冲突，”Anand 说，“智能体可能会将其确立为基础，然后不断尝试寻找答案。但也许它没有相关信息，所以它会尝试进行更多工具调用来获取更多相关文档。”

对于公司来说，这表现为不必要的延迟，因为 AI 智能体或 LLM 需要更长时间来回答问题，因为它仍在搜索正确答案。

尝试了大概 10 分钟后，智能体仍然找不到正确答案，但由于它收集了太多上下文，可能会产生幻觉，给你一个错误的答案。

问题由此螺旋式上升。

“尝试了大概 10 分钟后，智能体仍然找不到正确答案，但由于它收集了太多上下文，可能会产生幻觉，给你一个错误的答案，”这是一个令人困惑的结果，他说。

“即使是最好用的 LLM，也是由不同公司训练的，但它们尚未在 100 万或 1000 万条数据上进行训练。所以，我们看到的是，如果你的智能体或 LLM 拥有非常大的上下文，它会产生很多幻觉，其推理能力也会下降。”

Anand 表示，Token 越多，数据稀释就越严重，可怕的上下文腐化也随之而来。

如何解决上下文腐化

Anand 指出，为了发现和监控这些问题，企业和 IT 管理员必须跟踪其应用程序和 LLM 的关键数据性能指标，以找到问题的根源。

这些指标可以包括生成响应所需的时间、消耗了多少 Token 以及其他因素。AI 和 LLM 数据中的 Token 是代表单词或其他内容的实体，被分割成块。这些块或 Token 随后由多位数字标识，再由 AI 和 LLM 进行分析和处理。

“建立一个具有正确指标的优秀评估设置，是获得问题初现端倪的最佳方式，”Anand 说，“基于 LLM 构建的智能体和其他应用程序，其准确性和推理能力方面的性能会随着你输入越来越多的数据而下降。”

对于使用 AI 和 LLM 的企业来说，他们希望获得最好、最相关的上下文，包括文档、工具、外部工件和其他来源，Anand 表示。

“这正是像 Elastic 这样的解决方案可以真正提供帮助的地方，因为我们拥有围绕从非结构化数据中获取最相关上下文而构建的功能，”他说。

Elastic 的平台包含一系列完整的工具来帮助解决上下文腐化挑战，包括其 Elasticsearch 分布式搜索和分析引擎以及用于存储向量嵌入（Embedding）的分布式向量数据库；其 Elastic Agent Builder 框架，这是 Elasticsearch 中的一个层，用于处理结构化、非结构化和向量数据；以及一个向量存储，允许企业摄取数据，然后检索最相关的上下文。向量是数字数组，而嵌入是代表单词、句子、图像、视频和其他现实世界对象的向量。

同样有助于解决上下文腐化问题的还有 Elastic 内置的可观测性（Observability）平台，它允许管理员查看和监控 AI 智能体、LLM 等的性能；其 Elastic Learned Sparse EncodeR（ELSER）可实现语义搜索，基于上下文含义而非精确关键字匹配来检索更相关的搜索结果；以及其 JINA AI 多语言和多模态嵌入模型，用于将图像和文本处理成向量格式。

“这是一个围绕你可以用 Elastic 做的不同事情的全面方案，”Anand 说，“从零开始构建这些东西来实现这些功能是很困难的。”

分析师：企业需持续对抗上下文腐化

Franconia Research 的研究总监兼首席分析师 James Kobielus 表示，企业必须与上下文腐化作斗争，以确保在其智能体 AI 和 LLM 操作中使用最准确和最新的数据，同时清除陈旧和无效的数据。当企业使用智能体 AI 系统时，业务风险和影响更为严重。

“除非在 LLMOps 管道上下文中通过强有力的治理将其扼杀在萌芽状态，否则上下文腐化可能引发模型有效性递减的恶性循环。”

“除非在 LLMOps 管道上下文中通过强有力的治理将其扼杀在萌芽状态，否则上下文腐化可能引发模型有效性递减的恶性循环，”Kobielus 说，“如果驱动 LLM 介导对话的上下文窗口被虚假、过时或不相关的上下文污染，最终用户可能会在不知情的情况下被已部署的 AI 应用程序错误定位、误导或以其他方式不当对待。”

这种由上下文腐化引起的模型漂移和衰减“是任何已部署的 LLM、基础模型或其他 AI 模型固有的一种技术债务形式，”Kobielus 说，“无论模型前期训练得多么好，它都可能悄无声息地削弱模型的持续准确性和有效性。”

根据 Kobielus 的说法，降低 LLMOps 实践对上下文腐化的敏感性需要一些核心治理实践。“这包括确保在错误数据被用于训练检索增强生成（RAG）工作流中的 LLM 参考之前，将不准确、冲突、过时和无关的数据及元数据从公司的知识库中清除，”他说。

对于遇到这些问题的企业来说，找到一家专注于解决这些问题的供应商至关重要，Kobielus 表示。

“我喜欢 Elastic 在提升上下文质量方面的全面方法，”他说，“在 RAG 上下文中，这归结为提升跨不同且动态知识库的上下文数据搜索和查询的价值。他们的功能满足了 LLM 从业者在这方面的灵活性需求，特别是诸如时间过滤、元数据增强、数据块分解优化以及检索量校准等功能，以便在 Token 预算和模型窗口内优化事实检索。”