更好的格式排版请看飞书文档:https://ladingkanxue.feishu.cn/docx/DiLidZhRko0SmKxrPRhc6BPvnNe
第一期比较仓促,故内容上还有不少问题,未来慢慢打磨迭代~


🔹 期刊内容 🔹

①【UI 自动化】美团-App 页面视图可测性改造实践
源链接:https://mp.weixin.qq.com/s/YcvFSs-97SpMKjlpj9Dzqg
质量问题
美团 App 呈现千人千面,存在多种不同页面样式,假若需求要在 1 天内完成开发、测试、上线,则会面临很大跳转,需要重度依赖自动化测试快速验收,但是 Android App 页面使用大量 Drawable 对象来绘制页面信息,内部基于 Appium 的自动化方案无法定位元素,导致难以拿到自动化收益。

方案介绍
实现 SDK 接入到 App 来监听布局信息,将信息做解析与 json 结构化,通过 HTTP 发送到跑在自动化脚本的 Client 上。

最后选择通过内部 SDK 和外部 Client 做 HTTP 通信的方式,用 SDK 监听获取布局信息做解析与结构化外传,最终传递给自动化脚本。

②【性能压测】哔哩哔哩 - 直播间场景下 App 客户端长链消息业务性能测试实践
源链接:https://mp.weixin.qq.com/s/w2JwT1_fcFxTacGy152TuQ
质量问题
B 站直播业务飞速发展,从 LOL S 赛到跨晚直播、传统节目拜年纪,高流量直播互动节目对直播间看端性能和质量提出了更高要求。直播间会并存弹幕、进场提醒、全屏礼物动画、连击礼物等,如果终端性能跟不上,丰富的玩法和特效反而会拉低用户体验,营收效果也会打折扣。针对上述实时互动能力的质量保障,有以下难点:

  1. 场景构造链路太长,耗时耗力:测试各类广播在直播间效果以往的手段需要多端配合且依赖账户数据,以触发 “大航海特效” 为例:先使用推流工具开播,终端 A 登录账号进入直播间送出礼物,终端 B 进入直播间,A、B 分别收到主客态广播,最终触发礼物特效;
  2. 异常数据构造能力缺失:广播内容完全由服务端下发,无法模拟接口各个字段的异常情况,广播容错测试完全空白;
  3. 性能测试效率低下:广播测试从传统的端到端功能维度去测试,性能不能解耦开来关注,缺乏对端的消费能力、性能、体验的针对性测试,都需要投入大量人力进行手工回归,卡顿、闪退、发热等体验问题频发;
  4. 测试资产(各类测试资源与配置)复用困难:直播的广播消息类型经过数年迭代,有超过 100+ 消息类型,测试资产积累靠文档相传;

方案介绍
实现了一套面向终端消费场景的直播间广播压测工具链,并平台化为 “广播压测平台”,大幅提升直播间整体质量与专项测试效率,并沉淀下来直播间复杂广播场景下性能测试的最佳实践。方案主体如下:

广播压测系统架构图

  1. 广播消息元数据收集:通过对 broadcast-proxy 广播日志的全采样,经过处理归档为有序的广播回放文件,可以通过平台手动改变广播体中部分字段内容方便构造异常数据,提供自定义标签管理。

  2. 压测任务配置及场景编排:直播间压测根据需求可自由配置不同广播组合及 QPS。平时测试需求会形成一个个的单元测试场景的配置,支持将单元测试场景组合在一起形成一个测试任务。

  3. 发压服务:当前的实现方案比较粗糙,一个定时 loop 负责压测线程分配,压测线程会从 loop 中获取压测命令,通过调用 broadcast-proxy 服务实现实际发压。

  4. 性能数据收集与报告:使用 perfdog 手机端上的性能数据,通过 perfdog 的 report 接口协议,将性能数据上传做可视化分析,与多个版本的性能基线做对比.

压测实操

  1. 制定压测目标:预估业务场景的压力流量,一方面以高于预估压力的情况下持续播放 2 小时无崩溃闪退卡死为目标,另一方面按照常规压力、1.5 倍、2.5 倍、极限压力等不同梯度做多场景组合。
  2. 制定分级测试策略:按活跃用户机型市占率,做机型性能的分级。
  3. 根据保障场景配置压测数据:如拜年纪是高弹幕互动场景,不是高消费活动,业务也会要求屏蔽引流类型的特殊广播消息,故弹幕用例配置的 QPS 要更高。
  4. 性能报告分析:数据分析,定位排查问题,修复&验证。

③【风险评估】百度 - 质量评估模型助力风险决策水平提升
源链接:https://mp.weixin.qq.com/s/7yAL9Uw6JJJPQmFSki54Vg
质量问题
你在测试过程中是否也发现了以下问题?

方案介绍
整体方案是构建质量评估系统,机器自动决策,自动流转流程,核心由风险识别、风险控制和风险决策 3 部分组成,具体如下:

一个测试任务,是否有风险以及风险发生概率的大小本质上是一个二分类算法,通过模型从历史数据自动学习经验,预测未来,模型输入的特征是风险引入跟风险移除的各种维度的特征灌给模型去学习,模型效果评估

  1. 风险决策给出评估结论

红色这一块是代表伤害事件发生可能性极大,并且任何情况都会出现,需要拦截
针对于会发生少量的伤害事件但是可能性极小的、或者压根就不会发生,但是在极少特定情况下可能会发生,这种就会通过,无人值守直接流转或者由 QA 确认之后再进行流转

④【综合保障】阿里 - 年年玩五福,五福质量保障怎么做
源链接:https://mp.weixin.qq.com/s/k66V0aBKoePs9JEYT6-1Bg
质量问题
当我们聊五福质量,实际在说怎么基于五福质量目标建设一套完备的质量保障体系,建设质量保障体系是为了达成质量既定的目标,所有业务的质量目标都可以用同一句话形容:线上不出问题,同时能提升质量效率,那什么是质量保障体系呢?
质量保障体系,顾名思义,说的是保障质量的一套体系,体系是不同维度组合而成的多维矩阵,质量保障体系是指围绕质量工作展开的多维矩阵,它贯穿研发流程始终,通过方案选型、策略决策、工具支撑、组织协同分工等,把过程中的一系列质量活动系统化、标准化、流程化,嵌入在研发流程中做执行。如果记不住的话,那就记住这个公式:质量保障体系=质量活动 + 工具平台 + 质量流程。
只要是对质量能够起到保障作用的工作事项,都可以认为是一项质量活动。好的质量保障体系一定要追求质量活动的工程化(工具化、平台化),工具平台解决纯人工做不了的,大幅提高执行效率。质量活动伴随贯穿研发流程的,质量活动之间的串联组合就是质量流程。质量流程结合研发流程定义了每个质量活动的时间节点,准入准出,执行标准,以此保证每个质量活动的效果,进而保证整个项目质量结果。质量流程还定义了质量活动的角色分工,开发、测试、产品、业务方都可能是某个质量活动的负责人。

方案介绍

通用演练流程

演练优化方案

1. 五福演练会引入集团内部用户参与,帮助项目组发现问题。历史上演练有时间段控制,一般是当天几个小时,演练、商业化验收不做白名单隔离,用一份大白名单混在一起,一旦演练时间结束,出于保密考虑会一刀切回收白名单,导致商业化生态验收受影响。23 年考虑白名单隔离,完全做到想验就验。
2. 建设易触达的演练入口来提升参与人数,基于埋点信息建设机型和功能页面覆盖情况的演练仪表盘清扫盲点,并在每一轮演练启动之前都定制好演练重点,引导好参与用户的演练目标。

⑤【算法评测】阿里 - 蚂蚁搜推营销评测 - 智能化业务端到端评测平台(EVE)
源链接:https://mp.weixin.qq.com/s/vV9byfKaixTiz1sXf7QZ6g
质量问题
支付宝作为国民级别的 app,其中搜索、推荐、营销、广告等算法业务是十分关键的一环。面对蚂蚁域内算法业务效果风险高、业务对迭代效率要求高、ab 实验的验证效率低且有损、注重产品体验等特点,怎么去建设当前蚂蚁算法业务特点的效果验收能力,保障算法给业务带来的效果是好的?

方案介绍
建立了一套端到端的算法业务效果评估能力:


🤔 关于 “他山之石” 💭


↙↙↙阅读原文可查看相关链接,并与作者交流