搜索凡人小北

落地清单

Agent 落地检查清单

动手前把判断写清楚,再谈模型和工具。公开简版;完整案例与示意图见《凡人指北》订阅附赠。

动手前的对照表。每条只留「坑 + 判断」;完整案例、示意图与可打印速查表在《凡人指北》订阅附赠的完整版。

六阶段总览 · 动手前按序勾完再往下走
  1. 选场景
  2. 数据与权限
  3. 设计与工具
  4. 评估验收
  5. 上线与兜底
  6. 成本与迭代

怎么用

  1. 先勾「选场景」:前三条勾不上,先别开工——多半会做成又一个聊天框。
  2. 一次只试点一条流程:相关组打完,再决定要不要给写权限。
  3. 留给一周后的自己:哪几条真挡过坑,标成「下轮必勾」。

共 18 条,分六组。


1. 选场景

1.1 你是在改底层 workflow,还是又多装了一个问答框?

  • 至少动了这三件事之一:给对的数据、跨组织边界、人何时介入审查;并清楚会碰到谁的审批,以及数据和审计责任归谁。

坑:一套 Agent 承诺两件事,验收会打架。
判断:先写「不做什么」;有机器可读成败信号才适合上线。

1.2 出事之后,它能自己起来吗?还是必须有人重新点启动?

  • 触发方式是事件 / 状态变化,而不是「有人记得去点一下」。

坑:只是模仿员工点旧界面,那是 RPA,飞轮转不起来。
判断:设想全员请假一周——若 token 用量暴跌,说明 AI 仍是工具,还不是流程参与者。

1.3 成功标准能否一句话说清,并且能被机器或脚本验收?

  • 写得出「完成长什么样」;也写得出失败时该停还是升级。

坑:做不到这一条,后面所有「感觉挺好」都不可靠。
判断:无法衡量就无法自动化——先定义指标与评估,再堆模型。


2. 数据与权限

2.1 知识底座就绪了吗?还是在用一堆历史查询「喂」模型?

  • 口径、表/字段含义、业务规则是显式的;关键知识同时「人可读 + 机可检索」。

坑:历史查询整包丢给模型,提升很低甚至下降。
判断:先就绪口径断言、码表与权威文档,再谈换模型。

2.2 编排 / 执行 / 外部,三个信任平面分开了吗?

  • 编排层只建任务与人审门;执行层权限收在最小目录/工具集;外部输入一律当不可信。

坑:编排器对 worker「全权限」才能无人值守——all-or-nothing 陷阱。
判断:外源输入一律不可信;小团队收件箱 RAG 也要隔离外源、禁自动拉外链。

2.3 「可以放行」的信号,是不是放在调用者能改的地方?

  • 信任结果走进程内闭环(返回码 / 内存状态 / 受控产物),不依赖评论、聊天消息等可伪造信道。

坑:评审把「可合并」写在评论里,任何有评论权的人都能伪造放行。
判断:门禁信号绝不能放在调用者可写的信道。


3. 设计与工具

3.1 你在设计工作环境,还是还在打磨说明书?

  • Prompt 变轻;工具、skill、记忆、上下文变重。固定抽取/清洗用脚本或 schema(要稳);开放探索才交给自由 Agent(要灵)。

坑:名词争论掩盖实现;隐式调用上限当退出。
判断:样板质量先于规模化;先问「这步要稳还是要灵」。

3.2 控制层 / 编排层 / 执行层分清了吗?

  • 聊天渠道只收指令与汇报;编排层负责路由、监控、预算;真干活在隔离环境里跑。

坑:聊天里直接 spawn 写码/写生产,边界一定糊。
判断:层分清,才能做预检门和安全审计。

3.3 Skill 记住的是「语境」,还是只罗列操作步骤?

  • Skill 会收窄用户已说过的过滤条件与边界;不是又一份流程说明书。

坑:聚合答对率两边都像对,却漏掉对话里已说的时间窗与工单号。
判断:会短句承接上文时,Skill 须做语境收窄并为此出题。


4. 评估验收

4.1 闭环有没有 Owner、截止时间、验收口径?

  • 谁负责、何时算完、怎样算过——三项都写死;成功标准尽量机器可读。

坑:缺 Owner / 时钟 / 验收,周会变成风险收集器。
判断:上线前写不清「完成长什么样」,就谈不上自动化。

4.2 AI 交付物验收时,Owner 能否脱离 AI 讲清楚?

  • 追问假设、权衡、失败边界与验收标准时,责任人答得上来。

坑:把「轻量」当成跳过架构;材料完整,人却讲不出因果。
判断:技术闭环 ≠ 业务闭环;Owner 须能讲清中层。

4.3 你有没有听「单条失败」,而不只看聚合分?

  • 重大改动后至少人工翻过一批 Trace;把第一处失败记下来,加回回归。

坑:客户端、网络与授权常吃掉大半时间;许多人停在第一套样本。
判断:换会话 + 换样本,才把演示升级成工程验收。


5. 上线与兜底

5.1 默认是不是「软围栏 + 人审标签门」?对外开放才上硬沙箱?

  • 不可信输入进编排前:围栏包裹、危险指令中和、人打放行标签才派活。

坑:没有显式门槛,就会用感觉代替验收。
判断:上线默认偏保守;放行信号机器可读,并留在调用者改不了的地方。

5.2 改完配置,你有没有「校验 + 确认进程真的在听」?

  • schema / 配置校验通过;服务真正 listening;删掉的 Agent 没有孤儿渠道账号。

坑:以为加了「禁用」就安全,结果 schema 报错拖垮进程;或留下孤儿 channel。
判断:预览与生产库物理分开;改完要 validate + 确认进程在听。

5.3 人退到编排之外时,最终责任人、升级路径、机器可读成败信号还在吗?

  • 写明最终责任人、何种错误必须升级、一键停用怎么做。

坑:用「是 AI 说的」挡箭;无人兜底。
判断:对外 Agent 说错话责任仍在公司;先写「何时必须转人」。


6. 成本与迭代

6.1 Token 是不是花在「进 workflow 真干活」,而不是常驻空转?

  • 用事件唤醒;编排层能做近零 token 预检,再叫醒贵模型执行层。

坑:账单涨不一定是用量,可能是工具失败静默重试。
判断:先打点工具错误,再谈换模型;事件驱动 + 预检再按需触发。

6.2 你有没有先自己跑通一条真业务,再堆脚手架?

  • 至少用一份真实输入跑通端到端;再决定抽象 skill / 多租户 / 图。

坑:半天建了一堆 skill、ADR、多租户,却还没跑通一篇真稿。
判断:先端到端交付一次,再谈可复用。

6.3 见过两次的请求,有没有变成 skill,稳定后再挂定时?

  • 路径是:手动跑通若干次 → 固化 skill → 值得自动再上 cron。

坑:工具挂满 ≠ 能力强;未用工具每轮白吃上下文。
判断:先审计从不调用的工具;见过两次再固化,不要无限一次性手工。


订阅凡人指北领完整版

公开简版到此为止。

完整版另有:脱敏实践案例、公开案例出处、三张墨与线示意图(信任平面 / 开发·生产隔离 / 静默重试成本环)、可打印「阶段 × 关键问题」速查表。

订阅《凡人指北》后领取完整版——凡人小北每周的 AI 落地判断。暂不收费、不另开付费墙——订阅读者直接用。