需求背景:跨境支付的金融公司,需要把线上的真实数据拉到公司的统一数据平台,用来公司内部进行分析,但是由于客户数据是隐私,需要进一步加密,脱敏操作 1、测试场景,实现从 UAT 环境拉取 20 亿数据量(脚本造数,非真实)到 SIT 环境,测试数据是否加密脱敏、完整性、一致性 2、测试难点:2 套环境的数据库之间有墙,网络不通,公司安全策略也不允许打通
诉求:我如何去确认 2 套环境所有的数据是否都加密了,加密是否正确,是否都完全同步过来了?
暂时想到的是这些,之前做过类似的,不知道你能不能用到。
针对不同类型的敏感数据(如姓名、身份证号、银行账号等),使用不同的加密和脱敏算法进行验证。
数据完整性验证:
在数据拉取过程中,确保数据的完整性,即所有的数据都成功地传输到目标环境。
验证数据的总量是否与源环境一致,可以通过对比源环境和目标环境的数据记录数或数据量来进行验证。
验证数据是否有丢失或重复,可以通过比较源环境和目标环境的数据内容和关键字段来进行验证。
数据一致性验证:
确保数据在两个环境之间的同步性,即目标环境中的数据与源环境中的数据保持一致。
验证数据的一致性,可以通过比较源环境和目标环境中的数据内容、关键字段和业务逻辑来进行验证。
针对关键业务指标或数据关联关系,可以进行一致性验证,确保在目标环境中的数据与源环境中的数据一致。
非直连环境的数据验证:
如果两个环境之间存在网络隔离或不允许直接连接,可以考虑使用中间介质或工具来传输数据,如加密传输文件、使用安全网关等。
在数据传输过程中,确保数据的完整性和安全性,以及对传输过程中的异常情况进行监控和处理。
能够详细说说这条吗?-----------如果两个环境之间存在网络隔离或不允许直接连接,可以考虑使用中间介质或工具来传输数据,如加密传输文件、使用安全网关等。