跳转至

衡量 AI 是否真的在起作用

别用"写了多少代码 / 提了多少 PR"骗自己。AI 是放大器——放大团队既有的强项和弱项;ROI 来自流程改造,不是工具本身。


北极星:DORA + 质量护栏(团队级)

维度 指标 说明
速度 交付前置时间、部署频率 故事从开工到上线的时长
稳定 变更失败率、缺陷逃逸率、回滚次数 AI 提速但常拉低稳定性,必须盯
瓶颈 PR 评审时长趋势 行业数据:高 AI 采纳团队评审时长可涨 90%+,评审会成新瓶颈 → 优先投评审自动化(见 code-reviewer 子代理)

AI 领先指标(辅助,别当 KPI)

  • 每周自报"AI 省下的工时"(主观但有用)
  • skill / 命令触发率:哪些范式真在被用、哪些没人用 → 月度治理时裁撤或改描述
  • 对 AI 产出的信任分(1–5 自评)

各角色信号卡(吞吐 × 质量护栏)

角色 吞吐信号 质量护栏
技术/项目经理 sprint 计划耗时 ↓ 变更失败率、评审时长
产品经理 故事产出 / 就绪率 返工率(开发打回的故事)
后端 故事交付数 缺陷逃逸、测试覆盖率、评审时长
前端 页面交付数 视觉 / 交互返工、控制台报错
测试 用例数 / 自动化覆盖 漏测率、误报率
运维 变更 / 部署数 变更失败率、MTTR

自动采集(少靠手填)

让数据自己流出来,别全靠主观周报:

  • 交付前置时间 / 部署频率:Gitee PR 时间戳(开 PR → 合并)+ CI/ArgoCD 部署记录;用 Gitee MCP 拉 PR 列表与合并时间。
  • 评审时长趋势:Gitee PR「创建 → 合并」间隔的周中位数(盯是否随 AI 采纳变长——行业常见副作用)。
  • 缺陷逃逸 / 变更失败率:PingCode CZTST 缺陷按"发现环境(测试/生产)"分类 + 回滚次数(czerp-gitops 记录)。
  • 故事就绪率 / 返工率:PingCode CZKB/CZPRJ 故事状态流转 + 被开发打回次数。
  • skill / 命令触发率:先约定各自每周粗记常用 skill;后续可接 Claude Code 使用日志。

落地:技术经理用 czerp-managerstatus-digest 命令把 Gitee + PingCode 的工作项活动/提交/PR 聚合成站会/周报草稿,作为月度指标复盘的原始素材;上文那套指标(前置时间、评审时长中位数、缺陷逃逸等)仍需人工或后续专门 skill 在此基础上汇总——能自动流出来的先交给 AI。

节奏

  • 每月:AI 协作指标复盘 + skill 库治理(与 02 流程图节奏一致)。
  • 每季:工具栈大版本评估。
  • 给 3–6 个月再判断 ROI,别用不足一个 sprint 的数据下结论。

反直觉提醒:个人产出大涨 ≠ 组织交付变快。若吞吐升、稳定性降,是在用债务换速度——这正是护栏 04 要拦的。