• 不不不 我算半个测试,心不在开发,在测试。大数据的测试看你总结的就 3 个点。但是我们测试往往想不到更多的故障注入,因为涉及的工具太多了,咋怎?数据的一致性,我们测试的需不需要也借助 FLINK 或 SPARK 进行处理得出结论跟打开的结论对照【但是存在我们写的业务逻辑也许有 BUG,也费时】,还是一般都是自造数据,知道数据结果直接查库验证【如对 json 的某个字段的值的计算,我们造 100W 条,然后验证库,但是对于复杂的业务时又该何去何从呢】?我们测试时需要怎么保证这个过程的?希望大佬可以指点指点

  • 可以打包,然后调用 flink 的程序运行命令就可以了,公司目前就是这样做的,有新包更新的 GITLAB,会自动执行重启服务的程序,自动更新功能

  • 目前公司也是使用 Flink,场景也比较多,链路借助的工具也很多,也跟部门的老员工请教他们之前的大数据是怎么测试的,哈没取到有用的经。就公司的业务而言,业务->kafka->Flink->数据库【redis, clickhouse,hbase,mysql 等】,业务有日志,有计算等,我也想通过一个有效的测试流程跟有效的测试方式对自己开发的功能进行测试,避免线上出现问题。数据的一致性我认为数据源【得清楚产生的数据是那些数据】,根据业务的需求,入库的数据准确即可,也就是数据源->经过处理->入库,验证的就是数据源跟入库的数据是否丢失,中间环节目前不怎么 care,因为这块很多都是借助工具,默认都是工具无 bug,只是尽可能多的设计相关的异常场景去验证流程,保证数据一致性。就比如,开发数据存储到 redis 的数据是永久性的,测试有时不知道都没注意,最终就是很快出现服务器内存预警,坏点的没有运维的就是戎机了

  • none at 2020年08月08日

    不了 我面试阿里周期长 ,我想在深圳找一份。谢谢

  • none at 2020年08月05日

    这个说的我都信了,说来就来的。不过有机会我会去试试,毕竟想回深。

  • none at 2020年08月05日

    我昨晚深思到凌晨 3 点多,想通了。谢谢

  • 算法题:第 77 题 - 爬楼梯 at 2020年06月17日

    我尽然不知道,我靠,孤陋寡闻了

  • 算法题:第 77 题 - 爬楼梯 at 2020年06月17日

    需要应用到组合排序的

  • Leecode709. 转换成小写字母 at 2020年06月16日

    嗯 是滴

  • Leecode709. 转换成小写字母 at 2020年06月16日

    嗯 我希望我可以坚持到底