公司在做数据分析的平台,简单来说就是通过 sdk 收集 app 或者 web 端用户的使用数据,然后通过 kafka、SparkStreaming、hdfs 及 Impala 来做各个维度指标的准实时数据分析,数据验证方面的测试实在不胜其烦,数据量巨大而且不同于普通的离线数据分析,对应查询条件的组合又是无法穷尽枚举的,坛子里有没有类似经验的大神出来交流一下的。
大数据的测试案例比较少
@Lihuazhang 是的,只能自己摸索了
做录制回放,类似的系统无法穷尽,看测试策略,项目紧张的话做主干覆盖;资源充裕的情况下,可以构造数据跟输出,输入规则做对比; 抽丝剥茧,基础功能测试、线上数据的复制构造、大数据的压力;这样基本就能保证了
哎呀,我最近也在做大数据的手动以及自动化测试,也是没找到特别好的方法。一起沟通下呀,哈哈
可以自己定义好埋点的行为,然后验证输出,不过这个只能做回归
也刚开始接触数据测试,初步觉着流量回放应该是一个可行方案