DR³-Eval:面向真实可复现的深度研究评估基准
深度2026年4月18日38 分钟阅读
研究发现当前深度研究代理在检索鲁棒性和幻觉控制方面存在显著缺陷。该论文为AI研究社区、评估基准开发者和多模态系统研究者提供了重要的评估工具和方法参考。
觉得有用?分享给更多人
觉得有用?分享给更多人
微软和 Hugging Face 联合发布 ThinkingBox-Training,将 ThinkingBox-Bench 中可执行检查返回的 0/1 结果作为奖励信号,用于训练其他任务上的 Agent。他们提出离线策略相对难度来选择训练任务,并用 GRPO 对 Qwen3.8-27B 进行微调。结果显示,模型在重复性任务上的成功率大幅提升,但至少成功一次的覆盖率略有下降。
OpenAI 正式向所有客户开放 Decisions API,该 API 基于 ChatGPT Luna 重新配置,专注于快速、低成本的决策任务。与 TypeSafe 的 Jev 模型相比,OpenAI 的模型在基准测试中排名靠后,但在多模态和全球延迟优化上有优势。早期客户如 Box、Datadog、Ramp 和 Speak 已用其替换 LLM 以提升吞吐量。