RT-2:视觉-语言-动作模型将网络知识迁移至机器人控制
深度2023年7月28日20 分钟阅读
最有趣的发现是模型能够执行训练数据中未出现的语义指令(如将物体放在特定数字上),并进行多阶段推理(如选择临时锤子)。适合机器人学习、具身AI和多模态研究领域的研究者阅读。
觉得有用?分享给更多人
觉得有用?分享给更多人
微软、AWS、Anthropic 和 OpenAI 纷纷建立嵌入式工程团队,帮助客户部署 AI。模型质量差距缩小,部署和客户粘性成为竞争关键。企业采购时应关注系统所有权和退出成本。
新版 Claude 模型在调用 Pi 的 edit 工具时,会在嵌套的 edits 数组中凭空捏造大量额外键(如 requireUnique、oldText2 等),导致工具调用失败。作者分析认为,这是由于模型在后训练中过度适应了 Claude Code 的扁平编辑工具 schema,遇到不同形状的工具时更易生成不符合 schema 的调用。开启 strict 模式可解决,但显示了后训练对模型行为的深刻影响。