• 大厂面试总结 at 2022年04月09日

    😂 全局窗口一般不用,会话窗口又贼麻烦,还得合并

  • 😀 爬楼,时隔半年,目前已经全部能看懂了

  • 胖虎兄看到你了,建议慢慢走管理方向,然后赛道,建议走大数据方向,不是因为我自己搞才推荐你搞,而是因为这个赛道确实还有不少余温和红利,测试里面基本很少有会 flink 测试,或者大数据性能测试这块的,并且这块生态也是 java 或者 scala,做个数据测试 leader 也不错😂

  • flink 的 datagen 用来造数据也麻溜的一批😀

  • 还好啦,其实 flink 和 spark 这些知道一下过程,后续中台都走 flinksql 和 sparksql 后,某些地方测试都要变成 sqlboy 了😂

  • 飞总的产品,应该是类似于大数据任务调度平台或者机器学习平台相关的吧,看到这个 dag,以及各种配置就特别亲切。。。我们有个任务调度平台,所有 flink,spark,python,pysparksql,spakrsql 等各种 ETL 任务都在这个平台运行,然后 dag 内容呢,也是类似这种拖拽幕布,里面内容基本都是 sparksql 具体内容,目标表信息,源表信息,sparksql 或者其他算子的高级配置等。。感觉用 UI 自动化这个工程量特别大,我是用接口自动化做的,但是工作量也很大,算子之间 dag 可以随意拖拽组合,算子甚至还能依赖其他算子,算子本身还带自己的任务周期属性,任务周期本身也是个大坑。。就定时任务那些,大周期依赖,小周期依赖等。。运行结果的 assert 也是天坑。。目前跟 dqc 质量平台也不好做交互验证,感觉这种异步方案验证,中间件验证是个比较困难的地方

  • 个人认为 httprunner,特别是 2.5.7 版本,是一个非常好的源码阅读版本,尝试去解析它,只要你啃完了,对接口测试,各种参数化,python 高级语法都会有新的认知,特别里面还有涉及到一些 unix 的设计模式,很推荐

  • 不是 [0],是 content.data.loanInfoVoList.0.loanId 界面版是基于 1.5.8 版本,当时是自己写的提取方式,不是常规的 jmspath 表达式

  • 大佬,我来挖坟贴了,,我这边的项目就是大数据基础设施,任务调度平台,看你的代码,感觉也是任务调度的东西,关于这块,只要是任务,他在 yarn 上面跑,我不知道他是什么时候才返回正确的结果的,比如各种 status,像这种异步的接口,有什么好的断言方式吗,只能采用轮训?还有,那些 task 之间的周期依赖,顺序依赖你也是做的自动化测试吗