问答 如何解决跨环境的大数据测试?

安东尼 · 2024年01月11日 · 最后由 安东尼 回复于 2024年01月15日 · 5425 次阅读

需求背景:跨境支付的金融公司,需要把线上的真实数据拉到公司的统一数据平台,用来公司内部进行分析,但是由于客户数据是隐私,需要进一步加密,脱敏操作
1、测试场景,实现从 UAT 环境拉取 20 亿数据量(脚本造数,非真实)到 SIT 环境,测试数据是否加密脱敏、完整性、一致性
2、测试难点:2 套环境的数据库之间有墙,网络不通,公司安全策略也不允许打通

诉求:我如何去确认 2 套环境所有的数据是否都加密了,加密是否正确,是否都完全同步过来了?

共收到 2 条回复 时间 点赞

暂时想到的是这些,之前做过类似的,不知道你能不能用到。

  1. 数据加密脱敏验证:
  2. 确保在数据拉取过程中对敏感数据进行加密和脱敏处理,并验证加密和脱敏算法的正确性。
  3. 针对敏感字段,可以使用随机生成的测试数据进行加密和脱敏操作,然后验证加密和脱敏后的数据是否符合预期。
  4. 针对不同类型的敏感数据(如姓名、身份证号、银行账号等),使用不同的加密和脱敏算法进行验证。

  5. 数据完整性验证:

  6. 在数据拉取过程中,确保数据的完整性,即所有的数据都成功地传输到目标环境。

  7. 验证数据的总量是否与源环境一致,可以通过对比源环境和目标环境的数据记录数或数据量来进行验证。

  8. 验证数据是否有丢失或重复,可以通过比较源环境和目标环境的数据内容和关键字段来进行验证。

  9. 数据一致性验证:

  10. 确保数据在两个环境之间的同步性,即目标环境中的数据与源环境中的数据保持一致。

  11. 验证数据的一致性,可以通过比较源环境和目标环境中的数据内容、关键字段和业务逻辑来进行验证。

  12. 针对关键业务指标或数据关联关系,可以进行一致性验证,确保在目标环境中的数据与源环境中的数据一致。

  13. 非直连环境的数据验证:

  14. 如果两个环境之间存在网络隔离或不允许直接连接,可以考虑使用中间介质或工具来传输数据,如加密传输文件、使用安全网关等。

  15. 在数据传输过程中,确保数据的完整性和安全性,以及对传输过程中的异常情况进行监控和处理。

King 回复

能够详细说说这条吗?-----------如果两个环境之间存在网络隔离或不允许直接连接,可以考虑使用中间介质或工具来传输数据,如加密传输文件、使用安全网关等。

需要 登录 后方可回复, 如果你还没有账号请点击这里 注册