• 建议按以下步骤学习:

    1. 先去找一本 spark 的书入门, 或者网络上的资料也行,想省事在极客时间上买个 spark 的课程也可以。 然后自己找教程搭建 HDFS, Hadoop。 然后写 demo 把 spark 程序提交到 hadoop 集群上, 计算结果和数据保存在 hdfs 上。 走通这些步骤就算入门了。
    2. 开始编写一些测试工具, 包括但不限于:造数工具, 数据质量监控脚本, 功能测试脚本等等。
    3. 深入学习 spark, 尤其压了解 shuffle 是个什么东西, 因为这个东西是分布式计算的精髓。 知道 spark 的 task, stage 和 job 的原理,知道 partiton 和 task 的关系。 知道数据集是如何分布的。 这个阶段要弄明白分布式计算的原理, 这个很重要,到了后面你会发现其他的分布式计算系统也都是这么设计的,只是各自的侧重点不一样。 大数据领域对新手很不友好, 尤其对测试领域的新手更不友好。 其中一个原因就是你在一个产品里会发现 N 多种大数据组件, 比如 HBASE(负责点查), CK(负责批查),Hadoop(负责批处理),Flink(负责流计算),Kafka(负责消息引擎)等等。 所以你需要先弄明白分布式计算的核心原理, 这样触类旁通你在学其他大数据组件的时候, 就会发现比较容易了。 这也为后面你在大数据的场景中设计性能,高可用,兼容性等测试场景做准备。
    4. 开始学习流计算: 主要学习 Flink 和 Kafka 就可以。 这是行业内最流行的技术选型。 不用要求写的代码有多 6, 需要能够写不同类型的生产者消费者,Flink 的简单程序。 知道 kafka 和 flink 的精准一次性语义是什么含义, 不同的语义用在不同的场景。 知道 checkpoint,反压等原理。 知道如何设计数据一致性测试和性能测试。
    5. 开始触类旁通的学习其他大数据组件, 比如 hudi,ck,hbase,kudu,impala 这些,因为一个产品里大概率是有 N 多个大数据组件的。 大数据恶心的地方就在于没有一个组件能应付所有场景的。 为了追求极致的查询性能它可能是需要用 CK, 但是用了 CK 你就发现他除了批量查询其他的能力跟屎一样,所以为了弥补其他能力你就又得引入其他的大数据组件, 然后一份数据双写,三写甚至 N 写到多个存储组件里。 所以每一种组件你都要有所了解。 然后根据它的特点和生态去设计测试场景, 开发测试工具。

    到第五点这里就结束了, 因为我现在就在第五点这里折腾。 再往后怎么发展我也不知道了, 触及我的盲区了就。

  • 专升本已经没有用了 at 2024年03月01日

    当行业好的时候, 不带本只带专都有面试机会。 当行业不好的时候, 招聘市场遍历研究生😂 😂 😂 😂 ,就没人愿意看大专的简历了。

  • 互联网已劝退大专人 at 2024年02月26日

    可能只是这个甲方推不进去, 也许换一个甲方就不要求了, 还是别放弃希望。 我当初去面试华为,也是卡在简历这关, 虽然我是本科, 但是人家看不上我这个破本科院校。。。。。。。 这时候就别吊死在一棵树上了。。。 换个公司就好

  • AI 要怎么与测试结合? at 2024年02月20日

    比较难, AI 在测试领域内有没有用? 肯定有用, 但就局限在那么有限的几个场景里。而且还无法成为主要的测试手段,大多都是辅助类的。 所以如果这是硬性指标, 楼主只能考虑一下做面子工程了。 把一些 AI 能力硬套进去,然后通过一些话术,流程来夸大它的作用。

  • 感谢支持~ 我会尽力输出更多的好的内容

  • 你说我学习的那些课程么? APP 叫极客时间,里面的课程都是付费的

  • 嗯 是的

  • 嗯, 一起加油~

  • 我没说没有啊😂 😂 😂 你看我啥时候说没有硬件测试了。

  • 可以看看其他领域的,医疗里面有挺多工作要对接医疗设备,所以可能是需要做做硬件的东西。 你可以看看其他软件领域的。

  • 搭建个虚拟机也算做硬件了啊😂 😂 😂 难道是我对硬件有很大的误解。。。。

  • 不会啊, 在国内做硬件的没那么多的, 互联网里大多是软件。 不用非得会硬件。

  • 还是有的吧, 只是非常少了。 当然我是把会写点基本的函数脚本的也算做会写代码的

  • 现在不是有审核么, 发帖都要审核过后别人才能看。 而且我看那个裁员的贴子没啥敏感的也

  • 嗯, 极客挺好的。 我一直在极客上学东西。 花点钱省了很多自己去找资料的时间。

  • 我说说我的看法,一个比较重要的原因就是因为教授的太浅吧,很多都是可以在网络上随便找找就能找到的资料。有的甚至就直接复制过来,所以给人一种割韭菜的印象。 这一点可以看看极客时间,其实很少有人喷极客时间里的人割韭菜(当然也有个别的被喷)。 因为极客时间里的大部分内容还是可以经受考验的, 起码不是在网络上随随便便就可以找到的成体系的知识。里面有不少内容是作者自己的总结和感悟,售价也不贵, 大部分就几十块钱或者 100 多块钱。可以节省很多自己去找资料学习总结的时间。 我在极客时间上买了不少课,我看了一下, 买了 16 门了:

    这 16 门我基本没有觉得被割了韭菜的感觉。所以我个人觉得反感的不是知识付费, 而是自己的本事没练好就出来用低端和复制来的内容圈钱的行为。

    然后我觉得鄙视培训机构和鄙视知识付费是两回事。 鄙视培训机构的原因主要是简历造假和虚假宣传。 尤其是简历造假被人诟病。抛开这两点培训机构本身是没什么问题的, 我觉得行业里也需要培训机构来让一些基础很差的人入行。 其实我本身也是在大 2 结束的那年暑假去培训机构学习的 java。然后才有入行的机会, 毕竟让纯小白去自学, 真的不行的。 所以培训机构的一个很大的意义就是带小白入行,不能要求他太多。

    最后就是要正确看待搞知识付费这件事, 有些时候内容确实不能太过于艰深,有些时候我看一些内容也觉得讲的浅显, 但毕竟受众不一样, 需要讲的非常深入的行内人士不需要来参加培训, 不懂该领域的小白看不懂也用不上这些高深内容。所以很多内容输出作者它也不能写的太深, 要不然就没人买课了。 我记得之前和朋友聊天,说他们写过爬虫去爬 CSDN 的数据, 发现在测试这个领域里,搜索量和阅读量最高的不是那些高质量的文章, 而是接口自动化,UI 自动化这些。 所以但凡是要指着知识付费糊口的人,肯定要迎合客户的喜好。

  • 录好音, 留好证据, 一告一个准

  • 我的印象里, 不给交社保的一仲裁一个准, 单休的话, 收集加班记录,都要求给赔偿。 签合同了么? 没签合同一告一个准, 签了合同给降薪了应该也是可以要求补偿回来。 想要跟公司刚的话就仲裁要求 2N。 如果你入职没多久, 陪不了多少钱你不想折腾。 那就谈判多要点赔偿。

  • 大多数都是自己造的, 楼主可以翻一下我之前写的帖子, 里面有专门讲造数的。 前些日子我们也是对接银行做性能测试,造了 10 亿行结构化数据, 也就三个半小时就造完了,用 spark 造的很快, 还有一个是给一个车企造 2 亿张图片去测试存储系统,用异步 IO 造的也很快。

  • 爬虫,或者到公开的网站下载

  • 前两天有位老哥还跟我说,要我不要搞知识付费,挨骂不说其实也挣不到多少钱😂 😂 😂 😂 。 我记得我开星球那天老纠结了, 深怕挣不到多少钱还招来一堆骂😂 这就是开知识付费的人的宿命吧。 我只能说既然搞了知识付费了, 那就只能对得起别人花的钱,认真努力输出高质量的内容吧。(刚才发过, 忘了取消匿名了)

  • 环境很差,大家都一样,只能慢慢等待,熬到行情变好的时候。 听说 24 年美国要开始降息了,没准是个变好的开始。大家都各自保重,坚持住

  • 花菜】我的 2023 年终总结 at 2024年01月15日

    老哥在 23 年还真是满坎坷的, 祝愿后面一切顺利