把bug检测从看diff推到跑用户流程:Greptile的三层做法
OpenAI 官方案例里,Greptile 的做法值得借鉴:他们把 bug 检测从「看代码 diff」推到「跑用户工作流」——用 GPT-6 Astra 去实际执行用户流程、观察异常;安全部分交给 Daybreak 加强;再用 Codex 减少返工。 为什么这个分层有道理:代码审查只能看到这次改动的表面,很多 bug 出在「多个状态组合起来」的时候,比如登录态过期后再退款、并发提交订单、权限刚被改。这些只有按真实流程走一遍才会暴露。 落地可以分三步:一是把关键用户流程写成可执行脚本,比如登录、下单、退款、改资料,让 agent 按脚本跑并记录异常;二是安全问题单独用专门工具或模型过一遍,别指望通用 coding agent 顺手发现;三是把「返工率」当指标,看同一个 PR 被改几轮、哪些问题反复出现。 一句话:code review 是静态的,用户流程才是动态的,两层都要有。
还没有跟帖,欢迎写下第一条。