• 不不不 我算半个测试,心不在开发,在测试。大数据的测试看你总结的就 3 个点。但是我们测试往往想不到更多的故障注入,因为涉及的工具太多了,咋怎?数据的一致性,我们测试的需不需要也借助 FLINK 或 SPARK 进行处理得出结论跟打开的结论对照【但是存在我们写的业务逻辑也许有 BUG,也费时】,还是一般都是自造数据,知道数据结果直接查库验证【如对 json 的某个字段的值的计算,我们造 100W 条,然后验证库,但是对于复杂的业务时又该何去何从呢】?我们测试时需要怎么保证这个过程的?希望大佬可以指点指点

  • 可以打包,然后调用 flink 的程序运行命令就可以了,公司目前就是这样做的,有新包更新的 GITLAB,会自动执行重启服务的程序,自动更新功能

  • 目前公司也是使用 Flink,场景也比较多,链路借助的工具也很多,也跟部门的老员工请教他们之前的大数据是怎么测试的,哈没取到有用的经。就公司的业务而言,业务->kafka->Flink->数据库【redis, clickhouse,hbase,mysql 等】,业务有日志,有计算等,我也想通过一个有效的测试流程跟有效的测试方式对自己开发的功能进行测试,避免线上出现问题。数据的一致性我认为数据源【得清楚产生的数据是那些数据】,根据业务的需求,入库的数据准确即可,也就是数据源->经过处理->入库,验证的就是数据源跟入库的数据是否丢失,中间环节目前不怎么 care,因为这块很多都是借助工具,默认都是工具无 bug,只是尽可能多的设计相关的异常场景去验证流程,保证数据一致性。就比如,开发数据存储到 redis 的数据是永久性的,测试有时不知道都没注意,最终就是很快出现服务器内存预警,坏点的没有运维的就是戎机了

  • 面试又失败了 at 2020年12月03日

    cool

  • 面试又失败了 at 2020年12月03日

    哈 目前找到一份大数据的开发,先做一段时间先

  • 面试又失败了 at 2020年12月03日

    我这个面试过了 就是百度地图的 ,第三轮 OVER,谢谢

  • 面试又失败了 at 2020年12月03日

    我在开发过程中,基本都是函数,函数复用比较方便

  • 面试又失败了 at 2020年11月27日

    难是不难,但是面试测试开发,题目做出来后,需要怎么测试。按功能:该如何写测试用例;按单元:如何测试用例;还有评审代码时需要测试的代码审查能力,我觉得这才是重点

  • 面试又失败了 at 2020年11月27日

    写这个函数是有用的,函数可以帮我们自动校验日期格式是否正确如是否越界了,会提示我们

  • 不了 我面试阿里周期长 ,我想在深圳找一份。谢谢