自动化工具 关于大数据分析测试

匿名 · 2017年02月08日 · 最后由 Ivanli 回复于 2019年01月17日 · 1830 次阅读

公司在做数据分析的平台,简单来说就是通过 sdk 收集 app 或者 web 端用户的使用数据,然后通过 kafka、SparkStreaming、hdfs 及 Impala 来做各个维度指标的准实时数据分析,数据验证方面的测试实在不胜其烦,数据量巨大而且不同于普通的离线数据分析,对应查询条件的组合又是无法穷尽枚举的,坛子里有没有类似经验的大神出来交流一下的。

共收到 6 条回复 时间 点赞

大数据的测试案例比较少

匿名 #2 · 2017年02月09日

@Lihuazhang 是的,只能自己摸索了

做录制回放,类似的系统无法穷尽,看测试策略,项目紧张的话做主干覆盖;资源充裕的情况下,可以构造数据跟输出,输入规则做对比;
抽丝剥茧,基础功能测试、线上数据的复制构造、大数据的压力;这样基本就能保证了

哎呀,我最近也在做大数据的手动以及自动化测试,也是没找到特别好的方法。一起沟通下呀,哈哈

可以自己定义好埋点的行为,然后验证输出,不过这个只能做回归

夏日鸣虫 回复

也刚开始接触数据测试,初步觉着流量回放应该是一个可行方案

需要 登录 后方可回复, 如果你还没有账号请点击这里 注册