运维提供了搭建好的 CDH 后,我发现环境存在问题,什么任务都没运行,内存和磁盘的占用率都很高,如下图:

一开始我想到是否是运维采取在少量物理机上,使用虚拟化部署的方式搭建的,于是找运维沟通确认是使用物理机还是虚拟机,运维答复物理机。

公司部门层级管理严格,物理机的连接用户名等信息,不能给出。我就一边建议运维帮忙查找原因帮忙修复,一边和领导说明情况申请获得连接信息。我这边尝试先用小数据量跑一些任务,例如:数据导入导出,输出处理,打标等,结果有坑不说,还慢的可怕...

等了些日子后,我拿到了登录服务器的信息,我分别查了这几台的磁盘信息,内存信息,进程占用信息,分析得出这个 CDH 集群就是采用虚拟机方式搭建,于是再次找到运维反馈,运维的答复是 “我理解岔了”,我真的想...

那么如果你是我,你会怎么办?


↙↙↙阅读原文可查看相关链接,并与作者交流