Turbopuffer 创始人谈 RAG 后时代搜索

深度Latent Space2026年3月12日3 分钟阅读
Turbopuffer 创始人谈 RAG 后时代搜索
Turbopuffer 创始人 Simon Hørup Eskildsen 分享了他从 Readwise 的昂贵向量搜索需求中创业的故事,并探讨了智能体(Agent)时代如何重塑搜索基础设施。他认为 RAG 远未过时,智能体工作流将带来海量并发查询。

本文为长文精华摘要,完整内容请查看原文。

创业起源:从 Readwise 的痛点出发

Simon 在 2022 年帮助朋友公司 Readwise 扩展基础设施,以支持文章推荐和语义搜索功能。当时 Readwise 每月为关系型数据库支付约 5000 美元,而增加向量搜索将使成本飙升至每月约 3 万美元,导致该功能因成本过高而无法上线。这个痛点促使 Simon 在 2023 年决定“构建一个搜索引擎”,最终诞生了 Turbopuffer。

核心理念:连接 AI 与完整知识

Simon 认为,模型可以学会推理,但无法将世界知识压缩到几 TB 的权重中。因此,模型需要连接到能够以完整保真度保存“真相”的外部系统。Turbopuffer 的定位是“非结构化数据的搜索引擎”,专注于全文搜索和向量搜索。

架构赌注:拥抱云原生与分层存储

Turbopuffer 的架构完全押注于对象存储和 NVMe,避免了传统的共识层,并围绕近些年才成为可能的云原语构建。其分层存储引擎让用户能在成本与延迟之间无缝权衡:偶尔查询用对象存储,有时查询用 NVMe,频繁查询则用 NVMe/内存。

客户案例:Cursor 与 Notion

  • Cursor:Turbopuffer 作为业余项目上线后,第二天就收到了 Cursor 的邮件。一次凌晨 4 点的通话后,Simon 飞往会面,最终帮助 Cursor 将成本降低了 95%,并改善了其单用户经济模型。Cursor 表示:“语义搜索提高了我们智能体在所有前沿模型上的准确性,尤其是在大型代码库中,仅靠 grep 是不够的。”
  • Notion:为了满足 Notion 对低延迟的需求,Turbopuffer 甚至购买了暗光纤并调整 TCP 窗口,宁愿承担跨云成本也不愿在架构上妥协。Notion 联合创始人 Akshay Kothari 评价道:“没有 Turbopuffer,构建 Notion AI 是难以想象的。”

AI 时代:RAG 未死,智能体改变搜索

Simon 认为 RAG 远未过时,编码公司仍然严重依赖搜索。他预见混合检索(语义、文本、正则表达式、SQL 风格模式)将变得更加重要。

智能体工作流正在改变搜索模式:旧的模式是在开始时进行一次检索调用;新的模式是一个智能体同时发起多个并行查询,将搜索变成了一个高并发的工具调用。正因为智能体系统正在 dramatically increasing query volume,Turbopuffer 正在降低查询定价,以适应巨大的并发搜索爆发,而非少量精心挑选的调用。

公司哲学:坦诚与“P99 工程师”

Simon 对投资者保持“彻底坦诚”。他曾告诉投资者 Lachy Groom:“如果到年底产品没有达到市场契合,我们会把钱全部退还。”他认为这是“亮出底牌”的打法。

在招聘上,他推行“P99 工程师”哲学,旨在打造人才密集的公司。默认拒绝候选人,除非团队中有人强烈坚持为其争取。他在推特上写道:“我们正在寻找一位 P99 工程师,负责我们在三大云上运行的数十个(很快将达数百个)集群的基础设施/自动伸缩/K8s 工具。”

个人趣事:对茶的执着

Simon 有一个包含 200 多种茶叶的 Airtable 数据库,记录了他过去 15 年的尝试。他最喜欢的是一种日本特定地区采用中国方式制作的绿茶。他甚至会携带温度计确保泡茶水温精确,并曾用 20 分钟向团队展示他的全套茶具旅行包。

觉得有用?分享给更多人

获取每周 AI 工具精选

工具推荐、实战教程和生态洞察,每周更新。

相关文章

Simon Willison 正在重构 LLM Python 库的抽象层,以支持服务器端工具执行等新功能。他利用 Claude Code 分析了四大 LLM 提供商的客户端库,生成了用于测试的 curl 命令和 JSON 输出。这些调研材料已开源,旨在帮助设计更通用的 API 抽象。

深度Simon Willison·4月5日·1 分钟

智能体技能——包含程序性知识和可执行资源的结构化包,供智能体在推理时动态加载——已成为增强 LLM 智能体的可靠机制。然而,推理时技能增强存在根本性限制:检索噪声引入无关指导,注入的技能内容带来大量 token 开销,而模型从未真正习得它所遵循的知识。我们提出一个问题:技能是否可以被内化到模型参数中,使其在无需任何运行时技能检索的情况下实现零样本自主行为?我们提出 Skill0,一个专为技能内化设计的上下文强化学习框架。Skill0 引入了一种训练时课程,从提供完整技能上下文开始,逐步撤除。技能按类别离线分组,并与交互历史一起渲染为紧凑的视觉上下文,教授模型工具调用和多轮任务完成。动态课程机制…

深度·4月5日·17 分钟

评论