普通人不要谈什么钻研技术。。。
现在有啥技术是需要超过 10000 小时以上才能掌握的?
就是混口饭吃。
说句悲观的,上面写的内容其实大模型都能给你答案。。。
其实门槛是这么多资源,只有你趟过雷,技术真的是越来越难形成壁垒了。你反而不用太担心。
it 土木化的速度可能还会更快。。。
😓,和硬件那些外部因素基本没有关系。
调度策略和硬件算力,prompt 长度决定 ttft。
调度策略这就不是能轻易讲的明白的了。
调度如果采用 prefill first 可以提高 ttft(vllm 默认调度策略),但是如果 io bound 比较严重,反而会降低。
哎,你这种状态最好有个止损机制。
目前这完全就是堆时间啊,这种只适合 3-5 年的精力充沛的年轻人。。。
最近一个月可以不用指望了吧。
关税的当下,哪个企业脑子抽了,大幅度招人?
现在这个时间点建议 “忍”。
没啥出路。。。
最近我开始投简历了,已经全部已读不回了。。。
我这还是某种意义上最新的行业,随缘吧。
南京除了一个岗位以外,我已经不抱任何希望了。
调整心态,焦虑也没啥用。。。
可能过个三个月,半年,会稍微好一点。
做好长期奋战准备。
你不可能满足所有人的,可能都没有 hc。
大佬是说我么?我是菜鸡。。。
😓,我就当是去聊天的。。。我怎么可能面的过,3-1 可能都嫌弃我年纪大了。😓测试就更不可能了。你别看总包,我从来就没指望过能卷超过 4 年啥的。
大厂还是有嫡系啥的,我这种哪天没用了分分钟就被边缘化了。已经没啥救了。
羡慕能在一家待十几年的,我自己也会后悔当时为啥要折腾,唉,混混不也过来了。
看这帖子,当时我不也是 30 出头开始折腾的,折腾半天也就这死样。反正现在干啥压力都巨大。
那必须啊。
你说他现在还在疯狂加班呢,我 35 就加不动了。
要是我早跑了,这也是一种天赋,不服不行。
他当年就是这个社区最卷的几个人之一,可能都没有之一的说法。
当然有机会了😓
现在你看谁大量输出技术文章的。
ai 测试?就容不下几个老测试。。。
那时候至少还知道未来什么技术没起来,可能会火,现在哪行不卷。。。
就拿昨天字节的职位来说。
首先职级是有限制的 2-2,3-1 说明我们只要干活的大头兵。所以潜台词是我们对年龄有明确的限制。
32 岁,离 35 也就一份合同的周期。如果不是那么缺人,那么招人的标准一定会往上提。
就拿 jd 来说,我现在都不看上面那些基本要求,下面那些附加条件全符合,还有那么点机会。
对 32 的人来说,上面的那些其实也没啥用了,下面的最好也要有 1-2 条特别 match。
现在有岗位是真的缺大批的人么?。。。
说都是虚的,你可以投投看,实践出真知。
现在就业市场,尤其是 it 职位是存量市场。
在这个前提下,有着大量的毕业生候选人。
因此必须考虑差异化竞争,远比几年前要难得多得多。
现在中低端的技术职位社招基本要求的是完全 match,实际是要求大厂互跳,非大厂员工几乎没有机会。
这和学习,努力的关系已经不大,大厂去魅,找个合适的坑,做下去,就很不容易了。
毛的财富自由。
就是因为挣得太少,上班和不上班区别不大。。。
花钱的欲望很低很低,现在背个可能有个 7,8 年皮都磨平的破包去图书馆,有一天被地铁管理员嘲笑了,我也无所谓,爱咋地咋地。
这周开始要恢复状态了,要不太懒散了。😓
嗯,上班上的没劲,索性辞了。
现在连班都不想上,没工作压力也太爽了。。。
我现在简历开着,自己不投,问我就聊聊。
猎头关了,太 tmd 烦人了。
面试能拖就拖,说到底,核心问题没想明白,面也是白面。😓
从我的认知,元宝这波卷的是硅基流动这个级别的公司。
迟早会有大厂来卷他。什么时候卷死小厂还得再看看。
从我的认知看,模型效果,实际解决问题才是根本。
这还是少数人的游戏,未来还得再看看。
ai infra 其实已经卷了快 2 年了。
如果研发告诉你这块只有半年,说明他可能还不够资深。
千卡以上的集群开始卷是 24 年初、甚至是到下半年才真正完全开始的,大家那时候都没卡。--其实也是所有人的机会。比如我那时候犹犹豫豫,不想离家,加上估计老板不放,一年以后再看其实已经没有机会了。
除了 pd 分离是 24 年中旬的技术,其他都是已有技术。
比如你说的 vllm 性能真正接近 sglang 也是去年 7-8 月,v0.6.0 调度大更新以后的事情。
整个这块的技术栈不仅杂,而且比较乱。中间算子、编译、硬件特性、调度一堆东西裹在一起,上手成本极高。
整个行业现在只缺大牛,那种真正能把技术栈打通,且有千卡实际经验的人。这种人都在大厂,小厂没卡。--这种不是能培养就能培养出来的,要靠资源堆。
到了一定的技术阶段,学习的用处已经越来越小,选择对的路,适合自己的路更重要一些。--技术迭代越来越快,你要我像你这么加班,那就是要我命了。还是命更重要一点。😓
对我自己而言,我对大模型集群,兴趣是越来越小了,老老实实搞搞简单一点的边缘端得了,至少不至于需要拼命卷。
像你提到的 fp16,fp8,其实硬件还有 bf16,tf4,未来可能推进的是 tf6。nvidia 从 15 年的 tensorcore 已经迭代了很多版本了。从我的角度看,至少目前通讯、调度还是核心痛点。在带宽持续演进的同时,异步调度会越来越复杂。
😓,我懂了,找你试错。。。
pd 分离配多少最优,这种确实得试。
其他没必要试吧,其他是能大概算出出来的。。。
我个人会觉得快速容灾备份,这是现有框架不会考虑解决,但是真实商用又必须解决的难题。是不是更难一些?当然机器足够多的话,在 ep, dp 做容灾好像也没那么复杂。。。
最后大厂不行就加机器加人。。。多试试,有钱任性就苦一苦打工人吧。
元宝?还是豆包?
底层结构基本都是固定的啊,测这个没啥意义啊。
直接跑 tpot,ttft 不行么?
这波快的很,我现在大厂连聊都不想聊了。
我这种没千卡以上经验的,遇到问题,让我查底层,我 nccl 也就懂个皮毛,能解决个锤子问题。
--长久就别想了,前两年就知道这玩意就是少部分人的游戏,能坚持一天高薪算一天吧。争取早日挣够养老钱才是正途。
这个世界就是个草台班子。。。
上升期什么都不是问题,下降期么,什么都可以是个理由。
现在是极少部分人玩的游戏。
算了,说实话吧,你如果足够卷,几十万行代码看起来如砍瓜切菜。--算法工程
或者是数学足够好,推公式轻轻松松。--算法,更难。
我自认还有点天赋(NOIP 拿到省里前几),勉强可以接近第一条,我做了 5 年多了,CUDA 现在都不配拿出来说,我多少能写点汇编,看的懂最新的开源。。。
但是我也卷不过那些大佬,他们一天就能复现论文,一天就能对接新模型。。。大厂我也不配。卡,甚至是电费都比我那点工资贵多了,不会有人给你试错的。
这是极少数人得游戏。。。
还是老实做业务吧,做做外围应用。
现在越来越卷了,妈的。
😓,这就是我为什么写东西都不推送社区的原因。--了解我的人应该知道我早就不做测试了。
做 AI 基建的确实一直都不怎么需要纯测试,要测基本靠 CI,需要一些 DEVOPS 吧,需求应该也不会大。。。--不同于业务,出问题要背锅也是自己背,测试也接不住。
卡和时间比人贵多了。
这大环境下,首先是信心。
然后是长期奋战的准备。
学历歧视哪都会有,要随缘。
最好能给自己先设个一个底线,大概多少,什么位置,动态调整吧。
祝好。
你这是真的歇着了。。。
要我很难想象。
图书馆杀手是啥梗?好几年没去了,不知道还能不能抢到位置了。。。
看你预期了。马上就裸辞的飘过。。。
对我来说,如果还在公司一天,我就不可能把手上不想干的活甩出去。
这导致我长期心态爆炸,手上的活也不会对找工作有一丁点的帮助。
心累 + 还有点积蓄 + 又不是第一次干这事,所以也没那么难受。
客观来说,这多少也过了半个月了,连个面试都没有,多少有点爆炸的感觉。
但是再怎么样也比干着不想干的活,还要内卷的时候开心。
我客观预期要找半年的条件下的心态,这个环境下的信心真的很难建立。
两个月以后会成啥样,我有点不太敢想。先过一天算一天。
好难。。。
想我也工作 20 年了。。。