落地清单
Agent 落地检查清单
动手前把判断写清楚,再谈模型和工具。公开简版;完整案例与示意图见《凡人指北》订阅附赠。
动手前的对照表。每条只留「坑 + 判断」;完整案例、示意图与可打印速查表在《凡人指北》订阅附赠的完整版。
- 选场景
- 数据与权限
- 设计与工具
- 评估验收
- 上线与兜底
- 成本与迭代
怎么用
- 先勾「选场景」:前三条勾不上,先别开工——多半会做成又一个聊天框。
- 一次只试点一条流程:相关组打完,再决定要不要给写权限。
- 留给一周后的自己:哪几条真挡过坑,标成「下轮必勾」。
共 18 条,分六组。
1. 选场景
1.1 你是在改底层 workflow,还是又多装了一个问答框?
- 至少动了这三件事之一:给对的数据、跨组织边界、人何时介入审查;并清楚会碰到谁的审批,以及数据和审计责任归谁。
坑:一套 Agent 承诺两件事,验收会打架。
判断:先写「不做什么」;有机器可读成败信号才适合上线。
1.2 出事之后,它能自己起来吗?还是必须有人重新点启动?
- 触发方式是事件 / 状态变化,而不是「有人记得去点一下」。
坑:只是模仿员工点旧界面,那是 RPA,飞轮转不起来。
判断:设想全员请假一周——若 token 用量暴跌,说明 AI 仍是工具,还不是流程参与者。
1.3 成功标准能否一句话说清,并且能被机器或脚本验收?
- 写得出「完成长什么样」;也写得出失败时该停还是升级。
坑:做不到这一条,后面所有「感觉挺好」都不可靠。
判断:无法衡量就无法自动化——先定义指标与评估,再堆模型。
2. 数据与权限
2.1 知识底座就绪了吗?还是在用一堆历史查询「喂」模型?
- 口径、表/字段含义、业务规则是显式的;关键知识同时「人可读 + 机可检索」。
坑:历史查询整包丢给模型,提升很低甚至下降。
判断:先就绪口径断言、码表与权威文档,再谈换模型。
2.2 编排 / 执行 / 外部,三个信任平面分开了吗?
- 编排层只建任务与人审门;执行层权限收在最小目录/工具集;外部输入一律当不可信。
坑:编排器对 worker「全权限」才能无人值守——all-or-nothing 陷阱。
判断:外源输入一律不可信;小团队收件箱 RAG 也要隔离外源、禁自动拉外链。
2.3 「可以放行」的信号,是不是放在调用者能改的地方?
- 信任结果走进程内闭环(返回码 / 内存状态 / 受控产物),不依赖评论、聊天消息等可伪造信道。
坑:评审把「可合并」写在评论里,任何有评论权的人都能伪造放行。
判断:门禁信号绝不能放在调用者可写的信道。
3. 设计与工具
3.1 你在设计工作环境,还是还在打磨说明书?
- Prompt 变轻;工具、skill、记忆、上下文变重。固定抽取/清洗用脚本或 schema(要稳);开放探索才交给自由 Agent(要灵)。
坑:名词争论掩盖实现;隐式调用上限当退出。
判断:样板质量先于规模化;先问「这步要稳还是要灵」。
3.2 控制层 / 编排层 / 执行层分清了吗?
- 聊天渠道只收指令与汇报;编排层负责路由、监控、预算;真干活在隔离环境里跑。
坑:聊天里直接 spawn 写码/写生产,边界一定糊。
判断:层分清,才能做预检门和安全审计。
3.3 Skill 记住的是「语境」,还是只罗列操作步骤?
- Skill 会收窄用户已说过的过滤条件与边界;不是又一份流程说明书。
坑:聚合答对率两边都像对,却漏掉对话里已说的时间窗与工单号。
判断:会短句承接上文时,Skill 须做语境收窄并为此出题。
4. 评估验收
4.1 闭环有没有 Owner、截止时间、验收口径?
- 谁负责、何时算完、怎样算过——三项都写死;成功标准尽量机器可读。
坑:缺 Owner / 时钟 / 验收,周会变成风险收集器。
判断:上线前写不清「完成长什么样」,就谈不上自动化。
4.2 AI 交付物验收时,Owner 能否脱离 AI 讲清楚?
- 追问假设、权衡、失败边界与验收标准时,责任人答得上来。
坑:把「轻量」当成跳过架构;材料完整,人却讲不出因果。
判断:技术闭环 ≠ 业务闭环;Owner 须能讲清中层。
4.3 你有没有听「单条失败」,而不只看聚合分?
- 重大改动后至少人工翻过一批 Trace;把第一处失败记下来,加回回归。
坑:客户端、网络与授权常吃掉大半时间;许多人停在第一套样本。
判断:换会话 + 换样本,才把演示升级成工程验收。
5. 上线与兜底
5.1 默认是不是「软围栏 + 人审标签门」?对外开放才上硬沙箱?
- 不可信输入进编排前:围栏包裹、危险指令中和、人打放行标签才派活。
坑:没有显式门槛,就会用感觉代替验收。
判断:上线默认偏保守;放行信号机器可读,并留在调用者改不了的地方。
5.2 改完配置,你有没有「校验 + 确认进程真的在听」?
- schema / 配置校验通过;服务真正 listening;删掉的 Agent 没有孤儿渠道账号。
坑:以为加了「禁用」就安全,结果 schema 报错拖垮进程;或留下孤儿 channel。
判断:预览与生产库物理分开;改完要 validate + 确认进程在听。
5.3 人退到编排之外时,最终责任人、升级路径、机器可读成败信号还在吗?
- 写明最终责任人、何种错误必须升级、一键停用怎么做。
坑:用「是 AI 说的」挡箭;无人兜底。
判断:对外 Agent 说错话责任仍在公司;先写「何时必须转人」。
6. 成本与迭代
6.1 Token 是不是花在「进 workflow 真干活」,而不是常驻空转?
- 用事件唤醒;编排层能做近零 token 预检,再叫醒贵模型执行层。
坑:账单涨不一定是用量,可能是工具失败静默重试。
判断:先打点工具错误,再谈换模型;事件驱动 + 预检再按需触发。
6.2 你有没有先自己跑通一条真业务,再堆脚手架?
- 至少用一份真实输入跑通端到端;再决定抽象 skill / 多租户 / 图。
坑:半天建了一堆 skill、ADR、多租户,却还没跑通一篇真稿。
判断:先端到端交付一次,再谈可复用。
6.3 见过两次的请求,有没有变成 skill,稳定后再挂定时?
- 路径是:手动跑通若干次 → 固化 skill → 值得自动再上 cron。
坑:工具挂满 ≠ 能力强;未用工具每轮白吃上下文。
判断:先审计从不调用的工具;见过两次再固化,不要无限一次性手工。
订阅凡人指北领完整版
公开简版到此为止。
完整版另有:脱敏实践案例、公开案例出处、三张墨与线示意图(信任平面 / 开发·生产隔离 / 静默重试成本环)、可打印「阶段 × 关键问题」速查表。
订阅《凡人指北》后领取完整版——凡人小北每周的 AI 落地判断。暂不收费、不另开付费墙——订阅读者直接用。