TASTE:自动生成高难度高覆盖智能体基准

深度2026年6月4日20 分钟阅读
最有趣发现:现有基准(如τ^2-Bench)已近饱和,但TASTE生成的基准让顶尖模型(如Gemini-3-Flash)性能从0.82-0.94暴跌至0.28-0.61。本文适合智能体研究者、基准构建者及关注AI评估可靠性的读者。

觉得有用?分享给更多人

获取每周 AI 工具精选

工具推荐、实战教程和生态洞察,每周更新。

相关文章

Cloudflare Managed Defense 的 AI agent 执行框架把证据采集和范围限定放在应用代码里,先执行固定侦察工作流,再用 Clef 过滤噪音,由协调者智能体调度流量分析、客户上下文、全局遥测和威胁情报四个专职智能体并行分析,最后合成建议。系统全程记录证据来源与缺失,模型没有越权决策的权限,最终判断权仍归人类分析师。

深度·10月7日·9 分钟

Infino 由前 AWS OpenSearch 团队创立,推出开源 Agent 检索平台。核心思路是把所有数据统一存为 Parquet,在 SQL 中嵌入检索函数,让 Agent 用一次查询完成关键词搜索、语义搜索、过滤和聚合。

深度The New Stack·10月7日·7 分钟

评论