很多 AI Agent 项目不是死在技术上,而是死在“不知道这一步算不算做完”。需求到试点之间有七步,每一步都应该有一件可以检查的交付物;没有交付物的一步,就是靠感觉推进的一步。
采购前先问清的几个问题
- 试点的范围边界在哪——覆盖哪条流程、哪类请求、多少用户?超出范围的请求怎么处理?
- 试点的成功标准是什么,谁来判定?有没有写成数字,而不是“效果不错”?
- 业务负责人是谁?试点期间谁有权叫停、谁负责提供数据与验收?
- 数据从哪里来、权限归谁批?知识库的来源、更新责任与保密级别是否已确认?
- 试点失败的退出条件是什么?失败后数据与系统如何清理、成本如何结算?
技术判断方法
按交付链逐阶段验收。Negency 的交付链是七步:需求与基线、架构、开发、集成、测试、受控上线、维护——每一步都有可检查的产出,未达门槛不上线。判断一个项目计划是否靠谱,看它有没有做到三点:
- 每阶段有交付物。需求阶段的产出是场景说明书与基线数据,不是口头共识;架构阶段的产出是分层架构图与权限矩阵,不是几页 PPT。
- 每阶段有门禁。评测不达标不进入集成,集成测试不通过不进入试点。门禁写在合同里,而不是“尽量争取”。
- 试点有对照。试点结果要与上线前的基线对照:同一批请求,人工处理的结果是什么、Agent 的结果是什么、差在哪里。没有基线的试点,成功与失败都无法证明。
NIST 人工智能风险管理框架的“度量”职能(Measure)提供的是同一思路:先定义可测量的指标,再谈系统是否可用。评测集应该来自真实业务样本,并且覆盖失败案例——只测成功场景的评测集,测不出生产风险。
适用范围
这套交付物清单适用于第一次做 AI Agent 试点的企业,尤其是有真实业务系统需要接入的场景。它不适用于纯研究探索(没有业务负责人、没有验收标准)与已经跑通多轮试点的成熟团队——后者需要的是扩围与运维清单,而不是从零开始的交付物。
风险
- 范围蔓延。试点一旦“效果不错”,各方都会往里加场景。试点范围必须写死,新增场景走下一轮评估。
- 数据质量被低估。知识库里的过期文档、互相矛盾的版本、缺失的权限标注,都会在试点中暴露。数据清理要算进计划,而不是假设数据已经干净。
- 集成工作量被低估。接一个系统不只是调通一个接口,还包括权限映射、异常处理、审计留痕。每个集成点都要单独估算。
- 验收标准缺失。没有书面验收标准,试点结束时各方对“成没成”各说各话。标准要在试点开始前签认,而不是结束后补写。
- 试点变永久演示。没有扩围或终止的决策点,试点会一直“试点下去”,消耗预算却不产生生产价值。试点计划里必须写明决策日期与决策标准。
交付清单
- 需求与基线:场景说明书、基线数据(人工处理结果样本)、成功标准与退出条件
- 架构:分层架构图、读/写分车道说明、权限与审批矩阵
- 开发:知识库清单(来源、更新责任、保密级别)、评测集与通过阈值
- 集成:工具集成清单(每个系统接口、权限映射、异常处理)、MCP 或 API 集成说明
- 测试:功能测试报告、评测报告(含失败案例分析)、安全测试(提示注入防护)
- 受控上线:试点运行计划(范围、用户、时长)、监控与回滚方案、人工兜底流程
- 复盘:试点运行报告(对照基线)、扩围或终止建议、下一阶段计划
资料来源
- NIST 人工智能风险管理框架(AI RMF)
- Anthropic:Building effective agents
- OpenAI:A practical guide to building agents (PDF)
- ISO/IEC 42001 人工智能管理体系(标准名称引用)
下一步:如果你正在规划 Agent 试点,可以先看Negency 企业 AI 系统与智能化解决方案——七层技术架构与诊断、架构、试点、部署、运维的交付链,写清了每一步的产出与门禁;也可以从AI 场景初筛开始,确认你的场景适合哪条服务线。
