We are Mr Bug、 We are App Bug Hunter !!!
本次活动目的是为了用评分的形式,通过:安全、性能、稳定三个方面去检测评估一款 APP,为此还单独组建了一个的项目组一起协作攻破各项难点,覆盖各项检查点
主刀医生:Mr Bug 项目团队
发起时间:9 月 25 日
发起方:毛里求斯
体检目标: 陆金所 V 2.8.1
体健项: 性能,安全,稳定
分为三块: 安全、 性能 、 稳定
权重分别为: 40% 、30% 、30%
三个模块下的子节点分数平均分配。
每一模块下的子节点的总分根据测试过程评估以及结合发现问题严重程度两个维度进行单项评分!最后以每一项的最终得分的总分为本次体检的最终成绩。
- -安全标准:
网络传输数据均需要经过加密和校验,不能获取有效信息或伪造数据重要类型的网络数据均经过加密和进行校验
涉及敏感数据外其他数据都必须加密
需要通过 https 传输。不能单单只靠最基本的认证手段(如 token)
所有数据明文传输,需加密或认证。所有数据均不能去伪造
数据库不能通过简单的一些入侵方式破解
数据需要加密,且不能使用通用的、已可被破解的加密方式(如 md5)
数据/数据库不能存储任何明文敏感信息
本地缓存中不能存储部分敏感信息
- 性能标准:
重绘标准:3x 和 4x 的页面不超过 1/3
耗电量:一小时不超过 300mAh
内存:不超过 80M
流量:页面消耗不大于 200KB
内存抖动:不出现内存抖动的现象,横向评比抖动的频率,如果其他 App 在该功能点不抖动或者抖动经过优化,说明待测 App 有问题
内存泄漏:不出现内存泄漏现象
首页场景加载 - 冷启动(全新安装,未登录,点击图标至手势密码界面 + 进入首页所有元素加载耗时)6s
首页场景加载 - 热启动(非全新安装,已登录,点击图标至手势密码界面 + 进入首页所有元素加载耗时)3s
其他一般普通场景操作标准 3s
- 其他体验标准:
在测试过程中无明显 crash,卡顿,等体验问题!
持续运行 monkey 测试发生异常概率高于(异常次数/模拟事件数)10000 分之 7
- 安全:-
1 ,没有任何重打包方面的检测,存在被重打包然后加入恶意代码的风险。
2 ,网络数据包没有防伪造检测,能通过抓包的方式获取到用户数据包并进行篡改
3、客户端无壳无第三方加固,apk 可被直接反编译,得到相对完整的源码;
4、由于无壳无加固,反编译的源码可被植入恶意代码或第三方广告(如下图),并进行二次打包上架
5、日志部分肉眼检查,未发现特别敏感的信息。
- 性能:
1,资源消耗方面,手势密码界面的内存有优化的地方,常驻内存较大。
2,主页、投资理财页面、我的账户页面等布局有很严重的重绘现象,这样会造成界面加载时间过长。
3,与微信扫描二维码功能的内存情况进行比较,很明显陆金所使用二维码扫描功能时内存出现了比较严重的抖动,算法需要优化。
4 ,每次启动,普遍耗时 4S 以上,并且基本不跟网络相关,跟其他的 APP 相比,明显略长。
5 ,在网络情况良好(宽带,4G 情况),响应表现不错。但是在网络情况差(2G)时,耗时成几倍增加,应该是没有对这种情况做优化。
- 稳定:
1, 通过使用 Monkey 和自动化脚本模拟 50 万以上的随机事件通过事件数/异常数计算异常概率为 3/10000。
2,通过用 Monkey 脚本时间间隔时间 1s 左右持续执行 12 小时左右未发现异常。
欢迎一起交流,一起进步 可以关注我的微信公众号:“测试开发进阶” - 点我关注