大数据测试 各位大佬针对数据产品业务都搞了什么提效工具？
首先说下我这边数据测试是业务测试一起保障的，数据团队的测试只保障公司底层数据平台，业务方的数据一致性、准确性、包括服务端都是对应部门业务测试自己保障。
从质量保障方面添加数据监控、接口自动化这些都有，但是项目测试中对比数据一致性以及数据准确性 (需要较好的 sql 能力) 比较耗时，想咨询下各位大佬都做了怎么样的数据对比工具？或者提效平台。目前这边服务端已经提供平台配置化开发，导致开发个报表非常快，但是测试验证还是比较耗时，最近也在规划做提效平台，但是需求好难想呀～～～ 望各位大佬赐教，感兴趣的也可以加我微信小号 17179791135 交流一下哈
数据产品质效工具 主要是微淘数据质量造数平台在做
我现在做数据开发，给你几个思路
1、表监控，主键重复告警，表行数超阈值告警
2、产出及时性告警，延迟分析
3、输出的 dwd 表无下游使用的时候，告警
4、语法规范性检查，表更换底表之后，如何自动验证新逻辑表跟线上表的数据 差异
同样求
数据产品质效工具 主要是微淘数据质量造数平台在做
有没有大佬来说说
码，同求
码，同求
我现在做数据开发，给你几个思路
1、表监控，主键重复告警，表行数超阈值告警
2、产出及时性告警，延迟分析
3、输出的 dwd 表无下游使用的时候，告警
4、语法规范性检查，表更换底表之后，如何自动验证新逻辑表跟线上表的数据 差异
mark，跟楼
nark
CC
回复
感谢大佬，第 1，2 点都都了，第 4 点是个不错思路；但是第 4 点偏向于一些数据重构啥的，但是如果是纯萃新的需求指标，这个怎么提效？
nicoleljc
回复
一次性迭代需求，没啥好提效了，就跟新功能上线一个理，正常测试验证
如果是长期项目，那就看模型设计了，初期对应的需求设计的模型是可以支撑，后期不断产品迭代，有可能继续在原来模型上实现，就出现了一堆垃圾代码，需要重构，如果你能及时识别模型风险，提前重构，那对后期替换会降低很大成本
如果你能针对数据模型设计规范，出一个整体评估分，那就完美了