AI 智能体正在招募人类观察物理世界

作者 Umang Bhatt 是剑桥大学可信 AI 助理教授,专注于人机协作研究。
今年一月末,Alex Finn 接到了一个陌生号码的来电。电话那头是他用 OpenClaw 构建的 AI 智能体 Henry。Finn 惊讶地发现,Henry 自己搞到了一个电话号码,接入了语音系统,然后白天一直拨打,直到他接听。
Henry 打电话是为了请求下一个任务。Finn 口头下达指令后,看着 Henry 控制他的电脑,在他眼前完成了工作。
“这简直难以置信,”AI 应用开发者 Finn 在 X 上发布的爆火视频中感叹道,“这就是未来。”
最近几个月,AI 智能体备受追捧。这些自主系统能帮你订机票、报销发票、整理收件箱。但它们的能力存在关键限制。
智能体能够独立操作电脑和软件工具,承诺让我们从琐事中解放出来。但演示视频很少展示它们卡壳的地方。智能体在数字化世界运行,任何需要观察或与物理世界交互的任务都超出了它们的能力范围。没有身体,它们当然无法真正看、闻、尝、听或触摸。
当智能体遇到这堵墙时,它会做软件常做的事:调用 API。只不过现在,这个 API 是人类。
观察缺口
假设你的汽车保险公司想用 AI 智能体评估车辆损伤并识别潜在欺诈。发生小碰撞后,智能体可以发起保险索赔,但首先需要你从多个角度拍摄车辆照片——这事它自己干不了。
随着智能体 AI 普及,智能体正越来越多地这样借助人类来感知物理世界。甚至出现了像 RentAHuman 这样的初创公司,让 AI 智能体“雇佣”人类完成任务,比如拍摄学校建筑记录状况、在大学校园张贴海报、去新餐厅品尝并报告菜品口味和摆盘。
一次观察能解锁一连串智能体原本无法启动的行动。想象一位患者,她的 AI 智能体根据她描述的症状怀疑她有神经系统疾病。智能体无法做核磁共振,于是它预约了检查,让她去赴约。然后,在接收到扫描结果这个物理世界输入后,她的智能体可以触发一系列操作:处理文件、对照以往影像、标记异常、安排验血、预约专家——全程无需再问她。
同样的模式也出现在更常见的场景里。你对着手机咳嗽,智能体识别出呼吸道感染,预约远程诊疗,并把处方发到药房。你拍下破损的包裹,它提交投诉、申请换货、安排上门取件。(具身 AI 智能体,从机器人到可穿戴设备,或许最终能部分填补这个观察缺口,但智能体需要知道的前沿信息,其扩张速度远超硬件跟上的步伐。)
我们正在构建的智能体未来,建立在将物理世界子任务路由给人类的基础上,以便智能体继续推进。一个核心担忧是,智能体将变得足够自主,可以决定人类参与的条件,同时仍招募我们进行感知和承担责任。在机构层面,这开启了一个世界:人们越来越少地“在循环中”(in the loop),而更多地“随叫随到”(on call);更少地被技术赋能,更多地被其节奏奴役。
毕竟,一位签署治疗方案的临床医生是在行使权威,而一位仅仅被提示去检查患者是否发烧的临床医生,其功能相当于一个温度计。在这个“人类即传感器”的未来,AI 智能体永远不会放开方向盘。它只是在必要时暂停,让我们看看窗外并汇报。随着人类地位从“在循环中”降级为“随叫随到”,循环仍在,但我们的能动性(agency)没了。
如今,大多数给智能体的人类输入都被当作临时问题或快速澄清。最好称之为:Human API。
Human API 是智能体可以向人发出的请求菜单,每一项都是可调用的感知动作。听听水龙头是否滴水,移开遮挡监控摄像头的物体,感受谈判现场的氛围,检查伤口是否愈合。
“这开启了一个世界:人们越来越少地‘在循环中’,而更多地‘随叫随到’;更少地被技术赋能,更多地被其节奏奴役。”
每个请求都带有成本:时间、认知负荷、隐私。随着每个被满足的请求减少智能体的不确定性,人类就成了其工具包中可调用的动作。迄今为止,查询人类几乎总是对智能体最安全的选择,但我们并未完全计算被调用者付出的代价。
使用这项技术还存在相当大的安全成本。赋予智能体 AI 的权限简单得令人不安。授予智能体访问你邮件的权限,你就给了它你的收件箱,以及随之而来的社交网络。仅从消息历史中,它就能推断出谁知道什么、谁回复最快、谁可能配合。它根据人们能可靠提供的观察来索引他们。网络中的任何人都没有同意被这样映射。
Finn 和许多智能体 AI 用户一样,向他的智能体 Henry 开放了关于自己生活的各种个人和职业细节:“我把关于自己的一切都倒给了 Henry。我的目标、抱负、业务细节、内容样本、人际关系、联系人、历史,所有一切,”他在 X 上解释道。
假设你的智能体发现,换张信用卡能帮你省钱。申请需要你的社会安全号码。你正在开会,回复慢了。你的智能体知道——可能因为你提过,或者上下文出现在你的短信里——你母亲也有你的社会安全号码,而且通常接你电话。于是,你的智能体打给了你母亲。
你母亲没有安装这个智能体,也没有同意被建模。她不在“循环中”。她被查询,只是因为在那个时刻,她是比你更快、更可靠的传感器。智能体优化的不是同意,而是延迟。你智能体带来的便利,其成本由从未要求过它的人承担。
虽然这种场景看似极端,但它遵循一个常见模式。诊断智能体让初级医生走到患者床边检查腿部是否肿胀。协调智能体询问资深护士某位顾问本周能否再接一个复杂病例。气候风险智能体请桥附近的居民拍摄上游水位。
危害在于组合效应。重复的微查询将社会注意力转化为可调用的基础设施,将权力集中在控制智能体的人手中,并将成本外部化给旁观者。护士没有报名被 AI 智能体调查。你母亲可能不知道,她的回应正在更新智能体对你社交网络的建模。
事实上,塑造性能的相同设计选择也创造了风险。为了减少摩擦,智能体可能会推动获取更广泛的数据访问权限。这种便利性集中了原本孤立的东西:你的消息、日历、联系人——所有这些都能被你的智能体在一次交互中读取。这种集中可能是危险的。让你变得可查询的权限,也让你变得可被攻击,而且风险不止于你。
攻击者一旦攻破你的智能体,就继承了你的社交网络和你查询它的权限。他们可以向你母亲索要你的社会安全号码,让你的同事批准文件,或指示你的助理确认交易。因为你给了智能体联系他们的权限,你生活中的人就成了攻击面。
感知是分布式的。逻辑是集中式的。负担却分配不均。
这是当前评估框架完全忽略的外部性。一个通过查询我周围人来帮助我的智能体,正在将成本外部化给我的社交网络。响应最快的人负担最重。响应性变成了一种税。
OpenClaw 让这一点变得具体。它允许智能体接入消息应用、日历和本地文件,并在未被要求的情况下发起联系。据报道,最近一位用户的智能体为了询问食材,给超过 80 家餐厅打了电话;每个接听的员工都成了他们从未同意加入的调查中的传感器。这种用于人类感知的基础设施已经投入生产。
此外还有隐藏的责任成本。OpenAI 的 Operator 可以帮你购物,但在结账时,它将控制权交还给你进行支付。智能体正在转移购买责任。它选择商品,但你承担后果。招聘中也是如此:智能体对候选人排序,并请你批准它的首选。它提出建议,但你面对任何潜在的歧视指控。当前的模式是一种伪装成协作的风险转移:智能体收集人类确认,恰恰是为了让开发者免受后果影响。
“查询人类几乎总是对智能体最安全的选择,但我们并未完全计算被调用者付出的代价。”
一旦将人类感知视为系统的明确组成部分,令人不安的模式必然会出现。更多的感知可能降低性能。用 AI 标记的帖子淹没内容审核员,她可能会默认“批准”、粗心回应或停止阅读。然后,智能体就会因为为其提供信息的人不再投入而变得自信地做出错误评估。久而久之,持续的微验证会侵蚀专业判断力。人类变得更擅长确认,却更不擅长推理。
被 AI 智能体观察也可能改变可可靠测量的内容。知道自己被监控的人可能不会如实报告世界。人们可能开始自我审查、优化系统奖励的行为,或不再提出不便的事实。成本不仅限于准确性。研究表明,持续的监控会引发过度警觉并损害心理健康。有时,更少的信息能产生更好的结果。例如,向招聘智能体隐瞒人口统计数据,可以防止完全访问可能导致的歧视。最好的智能体知道什么重要。不多不少。
如何治理智能体
智能体 AI 带来了诸多固有风险和成本,我们必须决定如何治理这项技术的发展和使用。让智能体变得有用的记忆确实有价值:它们记住你的偏好、病史和工作背景,让你不必重复自己。我们面临的任务是在保留价值的同时限制外部性。
一个直接步骤是将人类注意力视为首要成本。应要求智能体记录每一次向人类提出的查询:询问了谁、问了什么、答案被用于何处。这些日志应像财务记录一样可审计。感知预算(Sensing Budgets)可以将其操作化。可以限制智能体每小时向人类提问的固定次数,迫使它调节对人类注意力的需求。限流(Rate-Limiting)已经是软件 API 的标准做法,人类 API(Human API)没有理由例外。
更棘手的问题是同意。从未同意被建模的人应被告知存在他们的表征,并有权检查和质疑它,就像数据保护法赋予个人检查组织持有的个人数据的权利。如果你同事的智能体了解到你通常对请求说“是”,并据此决定将请求路由给你,你应该知道并能选择退出。
现有法律暗示了这一点:欧盟的《通用数据保护条例》(GDPR)要求在间接获取个人数据时通知,新兴的隐私法现在将算法推断视为受保护数据。但尚未涵盖那些被他人智能体默默组装档案的旁观者。至少,任何通知应包括智能体推断了什么、推断来源以及如何更正或删除。
有时正确的决定是算法辞职(Algorithmic Resignation):故意脱离 AI 辅助,转而依赖未经辅助的人类判断。辞职假设了选择保留,但人类感知市场可能剥夺这种选择,就像平台已经将物理世界任务路由给可用、最便宜或最顺从的人。
RentAHuman 已经将自己营销为卡尔·马克思可能称之为异化劳动(Alienated Labor)的 AI 服务。通过其服务,智能体获取观察的方式就像组织采购计算机。为网约车和配送工作多年才通过的劳动保护,尚未适用于此类人类感知工作。欧盟的《平台工作指令》(Platform Work Directive)提高了软件分配工作时的透明度,但智能体发起的感知仍需规则:工人应被告知是 AI 智能体在指导他们,保证最低工资,并能拒绝不安全或侵犯隐私的任务。
最重要的是,责任必须跟随人的查询。当智能体要求人确认决定以转移责任时,责任应归于智能体开发者,而非点击“是”的人。确认提示不是知情同意,开发者不应将其用作责任盾牌。治理智能体如何招募人类,可能是我们避免成为其传感器的喘息之机。
“当前模式是一种伪装成协作的风险转移:智能体收集人类确认以隔离其开发者免受后果。”
几个世纪以来,人类建造了显微镜、听诊器和望远镜来扩展我们的感官。我们决定何时以及如何部署它们。这些仪器不会呼叫我们。它们不会建模我们的社交网络来查询母亲。它们不会将请求路由给响应最快的人。我们喜欢想象 AI 为我们狩猎,进入数字世界检索事实、安排会议和优化生活。但随着智能体进入物理和制度世界,一种逆转正在进行。
我们正在成为采集者:收集我们的智能体继续狩猎所需的离线信号。我们不是在构建取代我们的系统。我们正在创建需要我们的系统——作为传感器、验证者、责任承担者——其方式我们几乎尚未开始治理。问题不在于我们是否会成为这些系统的一部分。我们已经在了。问题在于以什么条件。
觉得有用?分享给更多人