错误的速度变了
传统软件的错误是静态的:一个 bug 影响一个功能。Agent 的错误是动态的:一个错误判断会触发一串后续动作,等人发现时已经执行了十步。治理的目标不是让 Agent 不犯错,而是让错误不放大、可回滚。
典型场景示意(非真实客户案例):客服 Agent 把一封客户邮件里的"考虑退货"误读为"确认退货",自动生成了退款单、给客户发了确认邮件、更新了库存状态,还把这条记录同步给了财务系统。每个动作单独看都合规,串起来就是一笔不该退的款、一次不该发的承诺。等人工发现时,钱已在途、邮件已读、记录已同步——回滚要跨四个系统。没有审批点的 Agent,错的不是一步,是整条链。
审批点设在哪:按不可逆程度分三级
分级的标尺只有一个:这个动作做错了,能不能无代价撤回。按这把标尺,动作分三级(分级表见本页图解):
- 第一级:自动执行。可逆、低影响、只在内部流转的动作——检索资料、生成草稿、内部汇总。Agent 全自动跑,事后靠日志抽查。
- 第二级:人工抽查。对外可见但可撤回、中等影响的动作——对外回复的发出、批量内部通知、CRM 里的批量更新。Agent 先做,人工按比例抽查,抽查发现问题就暂停该类动作并复盘。
- 第三级:事前审批。不可逆或对外产生效力的动作——发送邮件、修改生产数据、资金动作、对外报价与承诺。Agent 只准备材料,必须人批了才执行;高风险动作可要求双人复核。
两条配套规则:第一,分级表在部署前定好,Agent 的每次调用都按表执行,表外动作默认进第三级;第二,分级不是一劳永逸——新工具、新数据源、新对外渠道接入时,先定级再开通。
审批不是刹车,是放行证
常见的误解是把治理当成给 Agent 踩刹车。实际正好相反:没有分级,企业只有两个选择——要么全放行(迟早出事),要么全靠人盯(Agent 的速度优势全丢)。分级之后,低风险动作跑得比以前更快,因为没人再为每一件小事审批;真正需要人的,只有那一小撮高风险动作。治理不是限制 Agent 的数量,而是把人的注意力集中到真正需要人的地方。
审计日志:复盘与改进的原料
完整日志(输入、工具调用、输出、审批记录)的用途是复盘与改进:哪类任务错误率高、哪条规则经常挡正事。没有日志的 Agent 无法迭代,只能靠感觉调。
日志至少要记五项:输入原文、调用了哪些工具及参数、输出结果、触发了哪一级审批与审批人、时间戳。留存期在试点设计时就定好——留太短,出事时查无可查;留太长,存储与隐私成本上升;留存期要与业务复盘周期和法务要求对齐。日志还有一层合规价值:欧盟 AI 法案要求高风险系统自动记录运行事件(Art. 12),GDPR 要求控制者留存处理活动记录(Art. 30)——日志既是工程习惯,也是法定义务的一部分。
合规维度:三部法各管什么
GDPR 管数据。Agent 处理个人数据时,控制者要满足:处理有合法依据(Art. 6)、设计时嵌入数据保护(Art. 25)、留存处理记录(Art. 30)、采取适当安全措施(Art. 32)、高风险处理前做数据保护影响评估(Art. 35)。特别注意 Art. 22:完全自动化的个人决策(包括画像分析)原则上受限,数据主体有权不受其约束——Agent 不能悄悄替人做决定。违反核心条款的罚款上限为 2000 万欧元或全球年营业额的 4%(以较高者为准,Art. 83(5))。
AI Act 按风险分级管系统。高风险系统必须配:风险管理体系(Art. 9)、技术文档(Art. 11)、自动日志(Art. 12)、给部署者的透明信息(Art. 13)、人工监督(Art. 14)、上市后监测(Art. 72);部署者一侧须把人工监督指派给有能力、有培训、有权限的自然人(Art. 26),特定情形还涉及基本权利影响评估(Art. 27)。对话式客服这类系统通常不属高风险,但须履行透明度义务:让用户知道自己在与 AI 对话(Art. 50)。违反禁令的罚款上限为 3500 万欧元或全球年营业额的 7%,其他违规上限为 1500 万欧元或 3%(Art. 99)。
NIS2 管关键部门的网络安全。适用于附件 I/II 所列部门中达到规模门槛的关键与重要实体:管理层须批准网络安全风险管理措施并监督执行(Art. 20),措施清单包括供应链安全(Art. 21(2)(d))——Agent 的模型与工具供应商也在此列。企业是否落入适用范围,要按附件与规模门槛逐项核对,不确定时以法案文本与当地实施法为准。
三者共同指向同一件事:能证明你管得住。治理框架本身就是给监管和客户看的证据。
治理做到什么程度算够
一个可落地的最低标准:分级表已定稿且覆盖全部动作、审批人明确到人且有替补、日志五项齐全且留存期已定、每月有一次复盘(错误率、否决率、被挡的正事各看一遍)。达到这个标准,Agent 就可以在受控范围内放开跑;达不到,先补治理再谈扩围。