本质就是 持续且高质的输出。
途径可以是:
输出类型可以是:
当然,如果在业界本身做出很好的成绩,带出很好的团队,自然也会有名气。
看来我提了不少 bug
这么说也确实有道理
已阅
请问这次三个分享有公开的 PPT 可以下载么?
具体看 app 是怎么实现的,WiFi 和 移动网络很多时候会有细分的网络策略,这些策略可能会具体到底层网络协议等在网络传输性能方面的影响,大厂会有相关专门团队做网络策略优化,具体就很深了我也没什么了解。
如果 app 本身的实现没考虑这些,那本质上我理解就是弱网区别而已,WiFi 也可以去构造弱网。
看了一下没太理解是啥,不全知道你怎么用多线程。可能要贴一下代码才比较好判断,可以把代码中的敏感信息打码掉
可能他都没看完全文,只看了前面一点点就直接拉到下面评论了
都是典型问题,老板估计也是想看看你线下线上全流程有没有相关经验,我自己的理解
问题 1:测试的既定流程已经测完,仍然会导致一些 BUG 流入到线上,如何规避?
答:回答思路上,可以先完善线下测试的评估标准,就是楼主说的覆盖率、研发效能度量一类的。
不过,线下内部测试不可能解决全部问题,之所以这么说,一方面是问题挖掘有局限性,体现在场景很深、环境碎片化、数据复杂等特性上;另一方面问题修复同样有局限性,不是所有的 Bug 研发都会修,都修复到位。所以线下测试本身是不可能发现所有问题的,整个质量保障体系应该是线下测试延伸到线上。
那回到实际逃逸的 Bug ,首先在思路上,先分析逃逸的原因是什么,有多少问题在线下是可以拦截,多少是无法拦截,其中能拦截但逃逸的是为什么,能力不够成熟?能力没用好?流程有问题?评估不准确?最后总结归纳找出痛点(标准、流程、能力),这样就知道下一步的建设是什么。
上面说的是虚的思路,实际在做的时候就有很多细节,准入准出标准、发布测试能力方案,灰度发布流程,线上验证流程,线上监控建设,用户反馈舆情分析等等……
问题 2:一个产品已经由某测试工程师测试了两三年以上,但是还是会有一些体验/友好上的问题,如何规避此类问题?
答:体验/友好上的问题,看起来很模糊需要被定义,比如是端上的交互体验问题还是性能问题(卡顿、耗电),还是服务端性能机或时延问题,因为每个领域都有很多细拆的东西去探讨。
“规避” 这个词也非常模糊,应该要澄清面试官到是想问如何去挖掘暴露问题,还是如何去解决修复问题,抑或是两个都想问。
挖掘问题,白盒黑盒的形式都可以,移动端和服务端的形式又不一样,移动端一般有埋点统计、竞品评测、用户问卷、用户反馈 NPS 分析等。服务端可以日志数据打点、压测、拨测等。
修复解决问题,这个话题更偏向于研发,就不展开了。
请问白盒分析、路径规划是怎么理解呢,有公开的关于 X-Monkey 的资料可以学习么?(比如大会 PPT、录屏等)
谢谢~
我给楼主一下可实施的建议,这个问题很典型,研发团队质疑测试团队,不知道你们在干嘛,看不到专业产出,这时作为测试 leader,应该要有一点危机感了。
首先澄清观念:产出 ≠ 苦劳,结果是最终大家看的,过程辛苦和中间难度可以说,但要主次分明,否则听起来就不太专业,给人一种你很虚你在打感情牌的感觉。
回到上面的问题,一些实际有效的改进点:
可以考虑找大厂外包岗位提升一波见识,看看别人是怎么做的,再利用下班的空闲时间去吸收。不过大厂外包也有一些是很忙的,下班非常晚,需要自己甄别一下。
15 楼提到的基于覆盖率的精准测试建设,网上有很多来自大厂的成熟经验,搜一下就有了,甚至很多具体的技术思路也有一些呈现。
搜着去看一看,应该就能对 “覆盖率” 这个东西新的理解,当然技术归技术,其实后续的运营会更重要(个人感觉)。
不错不错
emmmmmm,这个帖子是楼主想浅谈下这个项目自己的心得,还是说想问别人怎么做虚拟主播的直播测试?
标题和描述互相冲突了
一方面首先是:关于测试时间评估这块最好能有个标准搞出来大家可以参考,不然很容易变成一个人说了算(比如测试负责人),其实风险挺大的。
如果这里说的是手机系统通知栏里的那种推送(不是 App 自定义的站内推送),这些推送必然要经过手机厂商的服务器(华米 OV、Apple 都要),这似乎意味着无法从本地真机上 mock 出来的。
在我司,推送中台将推送服务封装了一个简单的 Web 平台供大家手工测试使用或者自动化调用,要做成自动化那就是去调用这个推送中台的 Api。如果楼主的公司不存在这种推送中台,那就需要自行去和推送服务端的研发沟通,能否开一个内部测试接口给你调用。
假设推送可以了,那接下来就是看手机是否能接受到推送,推送是一定有折损率的,它不会 100% 成功,同时也会存在时延,所以整体上失败率非常高。这个步骤可使用常规的移动端自动化框架去做校验,或者从 App 日志上去做校验也可以,看测试目标自行选择不同方式。
最后备注,推送测试有安全风险,比如一不小心给线上用户批量推送了一个测试消息,那就是一个测试事故了。
精彩的回答:公开可参考的制度 -> 落实制度的组织 -> 来源于组织的标准 -> 从标准中转化的技术能力和技术运营 -> 承载能力和运营事项的平台
这个命题定得太大了,既然公司规模不是很大,就没必要追求面面俱到,要先看做这个事情的目的是什么,再来确定要做出什么结果。
如果只是想保证不出现安全维度的质量问题,我觉得最快的方式就是直接找乙方安全公司做全面的渗透测试。如果不想出这块费用,也可以拿市面上开源的现成工具扫一扫找问题解决。可以去 OWASP 上看看有没有你需要的安全标准(甚至是 Top 10 安全问题也可以当成是你们的安全标准),再找一些网上的安全编码规范给到研发,结合一些信息安全意识的条理和培训,我觉得就差不多了。
是的,老哥很有经验,这个是我们在做的一个事情,不过感觉这个事情在不久后就会遇到瓶颈。核心问题可能会转化为:
表达一下我的观点:
1、理论上,确实这么做是正确的,但是 SDK 团队有质量保障上的局限性和客观困难 —— 一方面 SDK 自身质量好,不等于集成在复杂的宿主上呈现出来的质量一定好;另一方面 SDK 客观不一定有测试团队,SDK 研发自己测试在宿主业务视角看来局限很大。
2、这么说理论上合理,但是当宿主集成的 SDK 越来越多,SDK 寄宿的宿主也越来越多,双方都无法顾得来。
3、在实际场景下可能更多的是这样:App 和 SDK 是一同升级的,经常是 SDK 的研发给 App 提接入代码,需要 SDK 的研发熟悉 App 的业务和技术框架,这个就很硬性要求了(尤其是平台型的 App,上面会集成很多集团的其他业务,如 淘宝)
其实有一个死结很难解(或者解不了,只能去缓和):SDK 变更升级,宿主和 SDK 都有质量风险,在复杂的合作中,各自的边界划分好没问题,但是暂时找不到合适的手段将测试成本降低,以及提升效率。
同意,我们的思路有一部分就是打算提供一些标准给 SDK 方,告诉他们在什么环节应该要具备什么能力完成很么事情,会包含 imath60 所提及的这些内容~
不过标准归标准,当 SDK 越来越多,不同 SDK 的团队配置都不一样,就不能一概这样要求(也不实际,因为执行不下去),所以在宿主上还是有挺大的痛点解决不了(质量 与 效率)。