发布后的冒烟测试已经失败，告警也到了，但工程师仍不知道哪个构建、哪个步骤出了问题。此时，测试结束了，排查却还没有开始。
这篇方案要解决的正是这个断点：衡量 CI 触发的冒烟测试从失败发生到工程师拿到可用证据的时间。若告警缺少截图、日志片段或失败步骤直链，测试即使在90 秒内结束，工程师仍可能多花15 分钟补齐上下文。
本文统一以告警到可排查时延衡量发布门禁：从 CI 启动到工程师无需追问即可开始排查的时间。它比单独的测试执行时长更能反映发布门禁是否有效。
这个指标不把所有耗时混成一个数字，而是把测试发现、通知送达和证据就绪拆开记录。这样可以判断瓶颈是在测试执行、通知路由，还是告警内容本身不够完整。
评估时把整条交接链路，而不是只测测试执行器拆成四项：
四项分开记录，避免平均分掩盖短板。一个工具即使通知很快，只要证据缺失或重复告警太多，实际排查仍会变慢。
只有在相同条件下比较，时延才有意义。候选可以是浏览器云测试、合成监控、托管测试服务或低代码工作流，但都必须支持 CI 触发冒烟测试和后续通知或问题路由。
所有候选都使用同一故障注入场景、同一通知目标、同一证据要求和同一评分量表。若某个产品无法由 CI 自动启动、无法取得失败结果，或不能把通知送往目标渠道，就不应与其他候选放在同一轮比较。Endtest 可以作为候选示例，但不应预设为优胜者；发布前应以当前官方资料核对其 API 与集成能力。
使用一个稳定、易复现的故障注入场景：它在同一浏览器流程的已知步骤失败，可在截图或视频中直接看到，并能部署到预览或预发环境而不改动测试装置。
例如，可以预置缺失的结算 CTA、可控的 500 响应或错误的 DOM 状态。失败应表现为明确的断言或页面状态不匹配，而不是测试工具自身崩溃。不要依赖外部 API、时序噪声或不稳定第三方服务，否则测到的是环境波动，而不是告警交接能力。
每轮按同一链路运行：
每轮至少记录以下时间点：
| 时间点 | 含义 | 用途 |
|---|---|---|
| CI 启动 | 流水线发起测试 | 计算总时延 |
| 发现失败 | 测试执行器确认预置故障 | 区分测试执行耗时 |
| 首条可操作告警 | 首条包含最小排查信息包的通知 | 衡量通知路由 |
| 证据就绪 | 截图、日志或调用链可访问 | 衡量排查准备度 |
| 工单或事件创建 | 支持自动创建时记录 | 检查路由完整性 |
同时记录候选名称、工具或配置版本、提交 SHA 或构建编号、环境 URL、浏览器目标、故障注入场景 ID、人工复制步骤和重复抑制结果。原始时间统一使用 UTC，并区分首次运行、后续重跑和同一环境的重复失败。
| 维度 | 权重 | 记录内容 |
|---|---|---|
| 通知延迟 | 35 | 从 CI 启动到首条可操作告警的秒数 |
| 路由正确性 | 15 | 告警是否到达目标频道、工单或事件 |
| 重复抑制 | 15 | 重试、重跑或重复失败是否被干净合并 |
| 告警内容完整性 | 20 | 构建 ID、环境、失败步骤、制品链接与责任提示 |
| 人工补录负担 | 15 | 开始排查前人工需要补录的信息量 |
延迟必须按分布记录，至少比较中位数和p95。快速的空消息不应得高分；工程师需要跨多个页面寻找原始失败制品时，也应扣分。
100 分量表用于让取舍可见，不是通用的行业阈值。开始测试前，团队应先约定什么样的时延、重复率和人工补录量可以接受，再用同一口径比较每个候选。
只有当工程师不额外切换上下文，就能回答下列问题时，告警才具备最小排查信息包，并计为可排查：
低时延不自动代表更好，应按团队当前的排查方式取舍：
这是一份基准方案，不包含实测时延，也不评估功能覆盖率、根因分析质量、长期维护成本或业务影响。CI 排队、部署耗时、通知渠道波动、浏览器云启动和重试策略都会影响结果，因此应在同一维护窗口内、尽量使用相同网络路径和部署制品比较。若某个工具先发送摘要、随后才提供证据，应分别记录通知送达与证据就绪时间，不能只取更快的前一个时间点。
如果团队不把冒烟检查作为发布门禁、不在 Slack、Jira 或 PagerDuty 中处理告警，或无法稳定复现故障注入场景，更通用的合成监控或可观测性评估会更合适。
选择告警路由工作流时，不要只按测试执行时长排序。先以一个稳定故障注入场景跑出基线，再对比各候选的时间分布、告警内容和重复行为，最后结合团队的排查入口做选择。应优先选择能稳定发现故障、向正确位置发出清晰告警、附带可直接使用的证据、避免重复噪声，并让工程师尽快开始排查的方案。核心目标始终是从失败到具备排查条件的最短路径。
相关阅读：AI 部署实践：从回滚到监控 · 金融科技 ODD 实战：五步搭起可观测性流水线 · 自动化测试的 8 个最佳实践 · 持续测试、持续集成、持续交付、持续部署和 DevOps · 生产环境中进行自动化测试