大数据测试 大数据测试 - 数仓测试

logan · 2022年12月10日 · 最后由 只想赚钱啊 回复于 2022年12月19日 · 5550 次阅读

前言

对于数据仓库的测试来说底层的系统会有很多有自建的集群使用 spark 或者 flink 测试,也有很多直接使用云厂商的产品比如 datworks 等等,再这里我想分享下抛开环境,只对数据仓库测试的一些小心得。

数仓分层设计

​ 标准数仓分为 ODS,DWD,DIM,DWS,ADS 等,每一层都有自己的含义:

在这里插入图片描述

  • ODS:存储原始业务数据,数据原封不动同步到到 ODS,不做任何修改,并且备份,备份时可以压缩;

  • DWD:数据清洗,脱敏,规范化,一般保持和 ODS 层一样的数据粒度,并且提供一定的数据质量保证。同时,为了提高数据明细层的易用性,该层会采用一些维度退化手法,将维度退化至事实表中,减少事实表和维表的关联,代表业务最小粒度层。任何数据的记录都可以从这一层获取,为后续的 DWS 做准备。另外,在该层也会做一部分的数据聚合,将相同主题的数据汇集到一张表中,提高数据的可用性;

  • DIM: DWD 同级别维度,比如时间维度、用户维度、权限维度、省份维度等;

  • DWS:又称数据集市或宽表。按照业务划分,比如订单,用户,商家,商品等,基于各个主题在加工和使用,进行轻度汇总,如统计各个主题 7 天,30 天,90 天的行为,用户购买行为,商品动销行为等,在 DWD 基础上关联 DIM 维度数据汇总,用于提供后续的业务查询,OLAP 分析等;

  • ADS:要是提供给数据产品和数据分析使用的数据,一般会存放在 ES、ClickHouse、Redis 等系统中供线上系统使用,也可能会存在 Hive 或者 Druid 中供数据分析和数据挖掘使用,一般在 DWS 基础上生成指标,主题宽表,主要用于具体的业务服务。

  • TEMP:每一层的计算都会有很多临时表,专设一个 temp 层来存储我们数据仓库的临时表。

数仓测试

数仓测试其实和其他域的测试一样都有需求评审,预发环境测试回归和上生产的步骤。

不同的是数仓测试的时候需要确定的口径。举个例子:淘宝商家半年内的销售情况,看到这个口径会认为只要值对了就可以了,其实不是,需要考虑这个商家的类别(统计企业的商家还是个人商家),商家的状态(注销,正常)等

数据的类型测试

1.黑盒测试

所谓黑盒的数据测试就是已数据结果为准对数据进行校验需要测试的有:

  • 检查表结构是否与设计文档一致
  • 主键是否唯一
  • 字段非空非 null 判断
  • 非正常值判断
  • 枚举准确性
  • 如果是关于金额类型的是否有负数

  • 数据是否有效合理

关于以上校验的一些 sql 样例

唯一性

--sku唯一,无重复记录
SELECT  sku_id
        ,count(1)
FROM    xxx.ads_xxx_sku
WHERE   pt = '20221211'
GROUP BY sku_id
HAVING  count(1) > 1
;

判断为 null

--空值判断
SELECT  sku_id,sku_name 
FROM     xxx.ads_xxx_sku
WHERE   pt = '20221211'
and     (sku_id IS NULL OR  sku_name IS NULL)
;

判断是否为空

select sku_id,sku_name
from xxx.ads_xxx_sku
where pt='20221211'
and (sku_id="" or sku_name="")

负值判断

select price
from xxx.ads_xxx_sku
where pt='20221211'

枚举判断

SELECT  distinct(sku_name)
FROM    from xxx.ads_xxx_sku
WHERE   pt = '20221211' 
;

2.白盒测试

需要对开发的代码走读,check 指标处理逻辑。同时测试也需要准备验证脚本,或者查找到可以作为验证参考的数据,便于口径核对,这个环节,对测试人员的指标口径沉淀有一定的要求。在发现指标数据存在差异的情况,需要协助开发人员一起定位差异原因,时常需要在现有的口径基础上,在数仓空间往上翻多层,或者一个指标定义不够清晰,需要自行去数分空间查找口径定义。另外,在测试通过后,需要编写相应的 DQC 脚本,及时监控生产数据质量。这些对测试来说,需要有一定的 sql 功底;

  • 字段长度、最大最小值、异常值、边界等
  • 计算单位是否统一
  • 常见函数,比如 dateadd 等日期函数的时间偏差
  • 查看调度配置是否缺少依赖

关于以上情况举下一些实际案例

使用的是 DATEADD 函数,统计近 6 天数据,需往前推 5 天,对应的前置条件应调整为 ‘-5’

BETWEEN TO_CHAR(DATEADD(TO_DATE('${bizdate}','yyyyMMdd'), -6,'dd'),'yyyyMMdd')

字段未做默认处理,数值字段一般默认为 0,字符串默认为 ‘’;

nvl(t22.spu_bid_cnt_30d,0)             as  spu_bid_cnt_30d    -- 近30天_出价spu数
    ,nvl(t17.spu_cnt_td,0)                  as  spu_cnt_td         -- 当天动销商品数
    ,nvl(t22.spu_inv_num_7d,0)              as  spu_inv_num_7d     -- 近七天_在售商品数
    ,t22.spu_inv_num_30d                    as  spu_inv_num_30d    -- 近30天_在售商品数 

常用的测试方法

DQC 校验

在日常测试时,常会遇到一种迁移任务和重构任务,此类任务对于原先的指标和口径几乎是没有任何差别,这个时候 DQC 校验可以方便快捷的来解决

通常使用的方法如下:

SELECT  t1.xxx_id AS xxid
        ,t1.xxx_month AS xx统计时间
        ,t1.xxx_rate AS xx率
        ,t2.xxx_rate AS 旧xx率
FROM    (
            SELECT  xxx_id
                    ,xxx_month
                    ,xxx_rate
            FROM    newtalbe
            WHERE   pt = '20221011'
        ) t1 inner JOIN    (
            SELECT  xxx_id
                    ,xxx_time
                    ,xxx_rate
            FROM    oldtable
            WHERE   pt = '20221011'
        ) t2
ON      t1.xxx_id = t2.xxx_id
AND     t1.xxx_month = t2.xxx_time
where     t1.xxxx_rate <> t2.xxxx_rate

血缘横向对比

测试过程中往往会发现数据对不上或者枚举不对的情况,为了进一步排查我们就需要通过血缘关系,来了解我们字段的来源是否错误。

比如以上表如果商家订单表中的内容有错误,可以通过 sql 先查看字段的来源,然后通过血缘关系来看表中的字段是否有问题,对问题根因逐个进行排查

设置质量监控

在上线时,我们回对重要的表进行监控,为了就是保证数据质量的完整性、一致性、及时性和准确性

  • 完整性是指数据的记录和信息是否完整,是否存在数据缺失情况。数据缺失主要包括记录的缺失和具体某个字段信息的缺失,两者都会造成统计结果不准确。完整性是数据质量最基础的保障.
  • 准确性是指数据中记录的信息和数据是否准确、是否存在异常或者错误的信息。例如,订单中出现错误的买家信息等,这些数据都是问题数据。确保记录的准确性也是保证数据质量必不可少的一部分。
  • 一致性通常体现在跨度很大的数据仓库中。 例如,某公司有很多业务数仓分支,对于同一份数据,在不同的数仓分支中必须保证一致性。例如,从在线业务库加工到数据仓库,再到各个数据应用节点,用户 ID 必须保持同一种类型,且长度也要保持一致。
  • 及时性保障数据的及时产出才能体现数据的价值。例如,决策分析师通常希望当天就可以看到前一天的数据。若等待时间过长,数据失去了及时性的价值,数据分析工作将失去意义。

总结

以上是我对数仓测试的一些小心得,也希望能够让大家了解数据测试,如果有什么不对或者建议请留言

共收到 7 条回复 时间 点赞
logan 关闭了讨论 12月14日 13:56
logan 重新开启了讨论 12月14日 13:56

比较系统,能否交流下血缘关系你们是怎么管理维护的的呢

刘金星 回复

我们内部有一个数据血缘的平台和离线开发平台,离线开发平台通过配置调度依赖生成任务,依赖关系同步到血缘平台中,在血缘平台中有血缘图,字段血缘,数据样例来管理这些血缘。

很想知道,在数据校验当中,确认数据/指标符合需求规则,看您是根据规则编写了 SQL,得出预期结果,那么针对预期结果,可能预期结果有很多条数据,那么针对与这样的数据,你们是抽样比对还是全量?

比如数据仓库有关完整性、一致性、及时性和准确性的测试,想请教下除了上面简单列举的几个场景,具体实施可以从哪些方面去做呢?
这四个方面要是可以展开分别聊聊就好了,谢谢~

这个我要分两种一种是有对比数据的比如迁移任务,这一类任务我直接和旧表全量 union all 下比对就可以了,如果没有对比的任务我基本就是抽样去看下,因为现在迭代周期比较短,如果有时间,也可以全量看下

fylz 回复

感谢提醒,后续会对于这方面再写下

logan 回复

个人认为 union all 可以写成一个格式,在对比中,将不同字段替换下,进行对比即可,很多时候的问题都出现条件缺少,或者使用的方法、或者一些保留小数、引用源表导致的错误,其次,在周期较短的时候,是否可以白盒测试数仓开发的 SQL,较少测试时间?

需要 登录 后方可回复, 如果你还没有账号请点击这里 注册