别提了，昨天还被老婆说了，人家都是想着办法保工作，你倒好。
我跟她说，我已经拒绝老板一次了，上面开始看你不爽的时候，你想摸鱼混日子都没办法，有的是办法让你难受。
哎，前面膨胀了，得罪人太多了。

信创，主要是政企服务。
还有最头部的国企才有国产化的要求。
实际上这部分也是依靠海量的 fae 支持去解决的。
从单客价来说，很高，只有华为能这么玩，可以这么玩。
其他企业只要不被 nvidia 告，不会用国产的。

除了华为，其他厂商主要是依靠各种关系，接一些单子。
在目前这个阶段，好不好用，质量好不好，只要大差不差，区别不大。--所以实际上都在缩编。技术在这个阶段，其实也没有想象的那么重要。

ai 最大的可怕在于他把经验的门槛几乎清空，导致技术迭代越来越快。
实际是在加速内卷，同时除了内卷以外，很少能看到新的创新机会。
比如：diffusion,cursor 卷的都是普通人的生产力，并没有把蛋糕画大。

实际基本只有信创用。
谁用谁傻。
接 4090 不好么，性价比杠杠的。

我没贷款了。。。
前面挣得也不多，计划蹲 6 个月慢慢看。。。
也不想妥协的太多。
最后两个月开始看初创吧，现在么，大家都没 HC。

才有啥用。--又没高到远超别人，还不是普通人。
老老实实提供情绪价值比现在老想着提供技术价值活得轻松多了。

你在说什么。。。
如果 4 卡换 8 卡，不就跑个脚本的事情，有啥好说的？
换个新模型还有点改推理框架的操作，已经支持的不就是一个 bash 就搞定了。
楼主是元宝的测试经验，就不是随便玩玩的那种。

别扯国产，

1. 现在除了信创，说白了还是 nvidia 的天下。
2. 有多少人真的分的清楚，4090，a100，b100，ascend 之间区别的。 这种体量大，才有测试价值，8 卡那不就是个玩具。

我开发都在劝退了，可以当开开眼界，找工作还是算了吧，我可以告诉大家基本不会有任何机会。
高飞回到 5 年前，他自己都面不进去，不信你们可以问问看，他们组的实际招聘要求。
现在这个行情下，别只看 jd，现在这个市场，jd 都是随便写写，要了解 jd 背后的逻辑。

普通人不要谈什么钻研技术。。。
现在有啥技术是需要超过 10000 小时以上才能掌握的？
就是混口饭吃。

说句悲观的，上面写的内容其实大模型都能给你答案。。。
其实门槛是这么多资源，只有你趟过雷，技术真的是越来越难形成壁垒了。你反而不用太担心。
it 土木化的速度可能还会更快。。。

😓，和硬件那些外部因素基本没有关系。
调度策略和硬件算力，prompt 长度决定 ttft。
调度策略这就不是能轻易讲的明白的了。
调度如果采用 prefill first 可以提高 ttft（vllm 默认调度策略），但是如果 io bound 比较严重，反而会降低。

哎，你这种状态最好有个止损机制。
目前这完全就是堆时间啊，这种只适合 3-5 年的精力充沛的年轻人。。。

最近一个月可以不用指望了吧。
关税的当下，哪个企业脑子抽了，大幅度招人？
现在这个时间点建议 “忍”。

没啥出路。。。
最近我开始投简历了，已经全部已读不回了。。。
我这还是某种意义上最新的行业，随缘吧。
南京除了一个岗位以外，我已经不抱任何希望了。

调整心态，焦虑也没啥用。。。
可能过个三个月，半年，会稍微好一点。

做好长期奋战准备。
你不可能满足所有人的，可能都没有 hc。

大佬是说我么？我是菜鸡。。。

😓，我就当是去聊天的。。。我怎么可能面的过，3-1 可能都嫌弃我年纪大了。😓测试就更不可能了。你别看总包，我从来就没指望过能卷超过 4 年啥的。

大厂还是有嫡系啥的，我这种哪天没用了分分钟就被边缘化了。已经没啥救了。

羡慕能在一家待十几年的，我自己也会后悔当时为啥要折腾，唉，混混不也过来了。

看这帖子，当时我不也是 30 出头开始折腾的，折腾半天也就这死样。反正现在干啥压力都巨大。

那必须啊。
你说他现在还在疯狂加班呢，我 35 就加不动了。
要是我早跑了，这也是一种天赋，不服不行。

他当年就是这个社区最卷的几个人之一，可能都没有之一的说法。
当然有机会了😓
现在你看谁大量输出技术文章的。
ai 测试？就容不下几个老测试。。。
那时候至少还知道未来什么技术没起来，可能会火，现在哪行不卷。。。

就拿昨天字节的职位来说。
首先职级是有限制的 2-2，3-1 说明我们只要干活的大头兵。所以潜台词是我们对年龄有明确的限制。
32 岁，离 35 也就一份合同的周期。如果不是那么缺人，那么招人的标准一定会往上提。
就拿 jd 来说，我现在都不看上面那些基本要求，下面那些附加条件全符合，还有那么点机会。
对 32 的人来说，上面的那些其实也没啥用了，下面的最好也要有 1-2 条特别 match。
现在有岗位是真的缺大批的人么？。。。
说都是虚的，你可以投投看，实践出真知。

现在就业市场，尤其是 it 职位是存量市场。
在这个前提下，有着大量的毕业生候选人。
因此必须考虑差异化竞争，远比几年前要难得多得多。
现在中低端的技术职位社招基本要求的是完全 match，实际是要求大厂互跳，非大厂员工几乎没有机会。
这和学习，努力的关系已经不大，大厂去魅，找个合适的坑，做下去，就很不容易了。

毛的财富自由。
就是因为挣得太少，上班和不上班区别不大。。。
花钱的欲望很低很低，现在背个可能有个 7，8 年皮都磨平的破包去图书馆，有一天被地铁管理员嘲笑了，我也无所谓，爱咋地咋地。
这周开始要恢复状态了，要不太懒散了。😓

嗯，上班上的没劲，索性辞了。
现在连班都不想上，没工作压力也太爽了。。。
我现在简历开着，自己不投，问我就聊聊。
猎头关了，太 tmd 烦人了。
面试能拖就拖，说到底，核心问题没想明白，面也是白面。😓

从我的认知，元宝这波卷的是硅基流动这个级别的公司。
迟早会有大厂来卷他。什么时候卷死小厂还得再看看。
从我的认知看，模型效果，实际解决问题才是根本。
这还是少数人的游戏，未来还得再看看。

ai infra 其实已经卷了快 2 年了。
如果研发告诉你这块只有半年，说明他可能还不够资深。

千卡以上的集群开始卷是 24 年初、甚至是到下半年才真正完全开始的，大家那时候都没卡。--其实也是所有人的机会。比如我那时候犹犹豫豫，不想离家，加上估计老板不放，一年以后再看其实已经没有机会了。
除了 pd 分离是 24 年中旬的技术，其他都是已有技术。
比如你说的 vllm 性能真正接近 sglang 也是去年 7-8 月，v0.6.0 调度大更新以后的事情。

整个这块的技术栈不仅杂，而且比较乱。中间算子、编译、硬件特性、调度一堆东西裹在一起，上手成本极高。
整个行业现在只缺大牛，那种真正能把技术栈打通，且有千卡实际经验的人。这种人都在大厂，小厂没卡。--这种不是能培养就能培养出来的，要靠资源堆。

到了一定的技术阶段，学习的用处已经越来越小，选择对的路，适合自己的路更重要一些。--技术迭代越来越快，你要我像你这么加班，那就是要我命了。还是命更重要一点。😓
对我自己而言，我对大模型集群，兴趣是越来越小了，老老实实搞搞简单一点的边缘端得了，至少不至于需要拼命卷。

像你提到的 fp16,fp8，其实硬件还有 bf16，tf4，未来可能推进的是 tf6。nvidia 从 15 年的 tensorcore 已经迭代了很多版本了。从我的角度看，至少目前通讯、调度还是核心痛点。在带宽持续演进的同时，异步调度会越来越复杂。

😓，我懂了，找你试错。。。
pd 分离配多少最优，这种确实得试。
其他没必要试吧，其他是能大概算出出来的。。。
我个人会觉得快速容灾备份，这是现有框架不会考虑解决，但是真实商用又必须解决的难题。是不是更难一些？当然机器足够多的话，在 ep, dp 做容灾好像也没那么复杂。。。
最后大厂不行就加机器加人。。。多试试，有钱任性就苦一苦打工人吧。

元宝？还是豆包？
底层结构基本都是固定的啊，测这个没啥意义啊。
直接跑 tpot,ttft 不行么？
这波快的很，我现在大厂连聊都不想聊了。
我这种没千卡以上经验的，遇到问题，让我查底层，我 nccl 也就懂个皮毛，能解决个锤子问题。
--长久就别想了，前两年就知道这玩意就是少部分人的游戏，能坚持一天高薪算一天吧。争取早日挣够养老钱才是正途。

这个世界就是个草台班子。。。
上升期什么都不是问题，下降期么，什么都可以是个理由。