Cloudflare 新规:AI 爬虫 9 月前须与搜索分离
深度2026年7月1日4 分钟阅读

Cloudflare 宣布,从 2026 年 9 月 15 日起,默认将屏蔽“混合用途”的网络爬虫——那些同时用于搜索、AI 训练和智能体(Agent)的爬虫。这项新规可能重塑 AI 公司获取网页内容的方式,迫使它们明确区分搜索与 AI 用途。
觉得有用?分享给更多人

觉得有用?分享给更多人
Vercel 每天路由超万亿 token,Coinbase 通过默认使用开源模型、任务路由和激进缓存将 AI 成本降低近一半。两者均采用模型网关作为控制平面,动态选择模型,并强调持续评估和可观测性的重要性。