另外想问一下,Flink 是怎么实现自动化部署的,我们目前 Flink 是运行在 Yarn 集群上面,发布的时候需要人工先保存中间值,然后再启动。
我现在的做法是实现一个执行 sql 的接口,然后把执行结果抽取出来和要验证接口的响应值对比。
rikasai@huacainoMacBook-Pro CaseManager % npm fund
Error: ENOENT: no such file or directory, uv_cwd
at process.wrappedCwd (internal/bootstrap/switches/does_own_process_state.js:129:28)
at process.cwd (/usr/local/lib/node_modules/npm/node_modules/graceful-fs/polyfills.js:10:19)
at Conf.loadPrefix (/usr/local/lib/node_modules/npm/lib/config/load-prefix.js:46:24)
at load_ (/usr/local/lib/node_modules/npm/lib/config/core.js:109:8)
at Conf.<anonymous> (/usr/local/lib/node_modules/npm/lib/config/core.js:96:5)
at Conf.emit (events.js:315:20)
at ConfigChain._resolve (/usr/local/lib/node_modules/npm/node_modules/config-chain/index.js:281:34)
at ConfigChain.add (/usr/local/lib/node_modules/npm/node_modules/config-chain/index.js:259:10)
at Conf.add (/usr/local/lib/node_modules/npm/lib/config/core.js:338:27)
at Conf.<anonymous> (/usr/local/lib/node_modules/npm/lib/config/core.js:314:25)
internal/bootstrap/switches/does_own_process_state.js:129
cachedCwd = rawMethods.cwd();
^
Error: ENOENT: no such file or directory, uv_cwd
at process.wrappedCwd (internal/bootstrap/switches/does_own_process_state.js:129:28)
at process.cwd (/usr/local/lib/node_modules/npm/node_modules/graceful-fs/polyfills.js:10:19)
at process.errorHandler (/usr/local/lib/node_modules/npm/lib/utils/error-handler.js:181:30)
at process.emit (events.js:315:20)
at process._fatalException (internal/process/execution.js:169:25) {
errno: -2,
code: 'ENOENT',
syscall: 'uv_cwd'
}
shell-init: error retrieving current directory: getcwd: cannot access parent directories: No such file or directory
chdir: error retrieving current directory: getcwd: cannot access parent directories: No such file or directory
chdir: error retrieving current directory: getcwd: cannot access parent directories: No such file or directory
shell-init: error retrieving current directory: getcwd: cannot access parent directories: No such file or directory
shell-init: error retrieving current directory: getcwd: cannot access parent directories: No such file or directory
shell-init: error retrieving current directory: getcwd: cannot access parent directories: No such file or directory
shell-init: error retrieving current directory: getcwd: cannot access parent directories: No such file or directory
shell-init: error retrieving current directory: getcwd: cannot access parent directories: No such file or directory
rikasai@huacainoMacBook-Pro CaseManager %
加了代理,还是一直下载不了依赖,很奇怪。
cnpm 也不行
嗯嗯,这个应该能解决一部分问题。计算结果有部分是通过 kafka 发出去的,存在 redis 的部分应该能这么搞
这个不科学的,不能因为迟到的一点数据而让整体跟着延迟,就算是可以,中间值也会非常大,吃完了内存。
要求还蛮高,计算结果会在厂家的大屏上显示。
延迟一般都是硬件故障导致的,目前还想不到很好的办法。延迟的消息只能直接在 filter 过滤了,不会计算,所以影响不了当前的计算结果。
消息里面有 eventtime,但是有些消息相隔几个小时,甚至几天再上来。因为消息是从硬件开始上报 mqtt,再转 kafka 的。
文章写得很棒!特别是 checkpoint 的部分。
发现个小问题,wordCount 的例子缺少了 try catch,Flink 算子有个很坑的点,一旦没捕捉异常,就会一直重启。
流式计算依赖消息的顺序性,要是消息不能保证顺序,这个点就很蛋疼。
我们用 Flink 做实时计算,同时还把 Kafka 持久化到 Hbase,实时计算出现偏差时,再用 Spark 去离线重算一遍。
1.有,解决公司现存问题的工具就是好工具
2.亲自执行一遍测试工作流
3.肯定是 web,因为浏览器每个人都有,并且更新后所有人只需要刷新页面就能同步到最新功能。
这错别的地方有点多啊
2020.12 月?
收货?
下层?
试了各种方式传参,终于搞定了~~
# 方法签名
public PageModel<ShiftStopInfo> queryByPage(PageModel<ShiftStopInfo> pageModel, StopSearchParam searchParam);
想问一下泛型,还有实体参数的时候,应该怎么入参
queryByPage(Listl<Msg> listMsg, SearchParam sp)
可惜,现在上班不用打卡了
直接通过正则表达式来判断的,if else 很难覆盖
吓得我赶紧弄多一个地方备份
是啊,人生是长跑,前面不打基础。后面还想要追的上,就必须要疯狂加速(加班)。
setattr 不行,直接赋值是可以的 obj.func=func
感觉可以参考简书,每天限制发两篇文章
我也很好奇 th 是什么的缩写???
瞎几把写的,招聘需求上面都是复制粘贴。至于为什么写 RF 而不是其他的,可能是因为这个历史比较悠久,知名度高。
发现一个错别字,性能优化下面的应该是 “压缩 “吧,写成了” 压测 “
想知道一下,gzip 压缩后能够提升多少性能
期待!