年终总结 2023 年终总结

少年 · 2023年12月27日 · 最后由 magicyang 回复于 2023年12月28日 · 9362 次阅读

前言

口罩和核酸,咋一想起来很遥远,其实也不过去年。

逝者如斯夫,不舍昼夜。

2023 年过得也比想象中的快,平和的一年底下是暗藏的波涛汹涌,没有星空仰望,也没有实地可踏。

随波逐流的时代,特立独行的猪更显珍贵。

网易云音乐年终报告和 QQ 音乐年终报告的轮番推送,也在提醒我,是时候腾出时间来写今年的年终总结了。

工作

新认知

今年严格意义上来说,是跨时代的一年,不管是于我还是于互联网行业。

ChatGPT 的诞生,席卷一场 "Decoder-Only" 的 AI 革命,大力出奇迹的魄力,让人心生向往。

而我也将精力都梭哈于此,说是转行也不为过。

未来 AI 赛道,大概也只有两条路可走。

要么卷算法和基座大模型,要么卷数据和垂类小模型,前者有 GPT4 和 Gemini Pro 两座大山,也就只有后者弯道超车的机会更大。

认知的更新是其中最大的改变。

相较于传统的思维,AI 进一步解放了数字时代的生产力,也将曾经认为的很多不可能,都变成了可能。

记得曾经还有过一场很有意思的谈话。

有次聊起 OpenAI 宫斗的起因之一,"Q*" 的重大突破,有望让 GPT5 达到初级 AGI 水准。

然后我说,如果 AI 未来真的可以自主学习和思考,而不像现在这样只是被动喂数据训练的话,很难判断它是不是就没有诞生自己的意识。

LLya 坚持 AI 需要跟人类对齐的担忧不一定没有道理,可惜我是三体降临派。

虽然 AI 一切都是矩阵运算,但是人脑的思考,也很难说清本质不是在做矩阵运算,只是一个在供电能,一个在供生物能。

说到这里,有人突然发问,那自我意识的本质是什么呢?

我的理解是自我意识,就是自我本我超我的比例混合出来的产物,哪个部分的比例高,就掌握了股东的话语权。

自我本我超我各自有一套不同运行规律的计算公式,负责矩阵运算,所以输入相同,但是经过不同计算规律的矩阵运算,得出来的结果就不同了。

然后普通 AI 跟智能 AGI 的区别,就是在于普通 AI 的运算规则写死了,但是智能 AGI,自我本我超我比例随时会受环境和自我学习的改变,计算规则也会随之改变,所以符合自主思考变化的条件,就是智能生命了。

毕竟不真正做出选择的时候,就是薛定谔的猫,人心和思维的难以捉摸,多像这样的测不准。

你的喜欢,你的开心,也不过内啡肽和多巴胺在作祟。

虽然数学是万物基石,但算不明白的时候,往往需要哲学解惑。

有次在公司内部做 AI 分享的时候,给出了我定义的三条 AI 认知公式的突破。

  • 了解 AI + 我( 缩小知识的差距,提高个人生产力 )
  • 了解 AI + 垂直领域( 加速信息数字化,提高业务效率 )
  • 了解 (软件 * 硬件) ^ AI( 推进软硬件面对 AI 的协同进化 )

并在分享结尾直接引用了雷军的一句话。

"只有认知突破,才能带来真正的成长。"

作为这 Part 总结的结尾,也合适不过。

新方法

有个很常见的现象,很多人毕业之后,大部分的工作不一定是自己学的专业。

那这说明大学学的东西没有用吗?

其实不是的。

在我看来,"掌握新技能 = 新的领域知识 + 学习模式 + 惯有思维认知逻辑"。

学一门量子力学,学一门概率论,对你毕业后的工作不一定有用,但是却能检验你的学习模式是不是高效的,能不能应对新知识的冲击重新快速建立知识体系。

也能检验,这个新的知识体系,能不能促使你的思维认知做出新的突破。

只有掌握了基本盘,便可以以不变应万变,处变不惊。

比如 AI 方向本来就是一个知识体系非常庞大繁琐的领域,日新月异的技术和论文,我们该怎么做?

每个人也许都有自己的见解,这里只分享我的见解,无谓高低,适合自己的就是最好的。

这也是我年中 AAR 给出的结论。

" 先不求甚解,再见贤思齐,而后求甚解之。"

然后配合新方法 + 新技能,就可以不断实践出真知。

比如 " 炼丹百遍,其义自见。"

新成长

就像前面所说的,转行做 AI,这个新领域知识,就是一次检验学习模式和思维认知逻辑的机会。

能经受这样的冲击,并做出一定成果,也算是成长吧。

然而技术理解力和判断力才是我自傲的地方。

年初 3 月,ChatGPT 大力出奇迹的震撼还未消退之时,我已经在内部做了一个《Explore AI Models - Facebook's LLAMA, Stanford's Alpaca, And Beyond 》的分享,并判断未来一定是基座大模型和垂类小模型共存的趋势。

而如今,开源垂类小模型百花齐放。

年中 5 月,秉承 "出名要趁早" 的理念,我发布司内第一个微调训练垂类小模型和多篇相关技术经验分享,多次夺下头条文章作者。

而如今,微调垂类小模型已是常态。

年中 6 月,选型 "llama.cpp" CPU 推理,致力于训练优化弥补量化损失,走出低成本高收益路线,也认识了很多前来请教交流,志同道合的伙伴。

而如今,我提出多种训练优化手段,比如 CoT 对私有小模型的效果不明显,不如把任务拆的更细,Chain 的每个节点,都可以看做是一个子任务,通过多种逻辑方式组合,比如正反逆推,信息提炼等等,来加强私有大模型输出准确结果的概率,后来直接被 Meta-math 写进了论文,作为最新的训练调优成果。

年末 9 月,设计开发生产级别 CPU 推理方案,落地业务投入使用。

而如今,"llama.cpp" 依旧是 CPU 方案最优解。

年末 10 月,提出 "新型 MoE" 大一统模式,通过组合多个垂类小模型来拼凑替换传统 MoE 大模型,提供更低的微调部署成本和更高效的迭代。

而如今,Mixtral 传统 MoE 大模型带着惊艳效果登场,与之而来的却是更高昂的微调和部署成本。

当然,我个人认为,最大的成长,还是在于思维的转变。

原来一直是 "技术至上" 的理念,今年却在更多的思考,产品,商业化,运营。

从立项做项目,到带领团队攻坚,到落地合作共建,到商业化探索思考,亦或是写 PPT 找大老板汇报,对我而言,推升更多的反而是这些软技能。

比如因为招聘需求还顺手考下了面试官证书,这个系列的培训课程,还是很受益匪浅。

技术虽然重要但只是其次的,还有很多比技术更重要的东西,这才是我的新成长。

生活

音乐

令人意外的是今年听了很多告五人的歌。

当然不意外的年度歌手依旧是周杰伦 & 邓紫棋轮番交替。

用网易云主要还是为了听《T.I.M.E》这张专辑,仿佛又回到了曾经歌手每周等一首新歌的期待。

当然最惊喜的还是,抢到了今年深圳场邓紫棋的演唱会 !!!

纷玩岛 yyds !!!许愿 VIP 2/3 区第一排 !!!

还有人生的第一张彩胶。

翻了一下启示录专辑冷门歌曲为演唱会预热,居然还发现了很多冷门遗珠。想着如果启示录也有彩胶就好了,凑多点说不定就可以召唤黑胶机了。

还去听了一场《你的名字》音乐会,唯一遗憾的是,如果你的名字曲目能演奏多一点就更好了。

毕竟除了写代码,也就看书和听音乐的时间最多了。

今年因为新冠,甲流,各种影响,嗓子一度状态不好,也就好久没有录歌了,所以关于这 Part 的分享就算了。

求婚

今年最成功的一件事,应该就是怎么样准备求婚而不被察觉。

这是一个相当不容易的事情,甚至还需要耍些 "故弄玄虚" 的小手段来转移视线和注意力。

所幸最终计划成功,为这些年的青春陪伴画上比较完美的句号。

最后还一起看到了今年唯一次早起日出的场面,初阳穿破云雾看见新生。

然后脑子就冒出一句非常中二的话,"我要这天,再也遮不住我的眼",一下子乐了。

总结

记得去年跨年趁着疫情刚放开大家还在犹豫要不要出门的时候,我已经带着憋了三年的劲来到了珠海长隆跨年。

当时的江边就像现在的深圳冬天一样冷,甚至当时还有点迷茫,看着倒计时,想着今年可能的新规划,可能的新方向,一切都是犹未可知的状态。

所幸今年依旧是有所求,有所得的一年。

希望明年也是。

那今年最后的祝福,希望大家都能充值到账 hhh

新的一年,何以解忧,唯有暴富。

那就祝愿大家早日暴富,也祝我早日暴富 hhh

如果觉得我的文章对您有用,请随意打赏。您的支持将鼓励我继续创作!
共收到 21 条回复 时间 点赞

我也喜欢听邓紫棋 + 周杰伦


太隆重了
我处对象的时候:做我女朋友吧。结婚好像就自然而然结婚了,没求婚。。。

我只有一个问题,爱因斯坦的脑子是好评还是差评

能发货到账就是好评

disable 回复

偶尔有点仪式感也是好事

等会我 ,我也想上车,一会爱因斯坦的脑子下架了

CPU 推理?
啥场景用 CPU 推理啊?没有 cuSparse 的稀疏矩阵?

恭喜求婚成功呀,可惜没见到女主呢😁

少年 #10 · 2023年12月27日 Author
hwijew 回复

我没有买,这个被我分在 "有哪些让人难以理解的销量" tag 里面,旨在提醒我思考产品的设计理念和受众

文章看着很舒服,做测试可惜了😂 。呀,好像不是测试啊😁

少年 #12 · 2023年12月27日 Author
magicyang 回复
  1. 一些不够预算买到足量 GPU 的场景
  2. 一些短 Context 并行 Chain 场景
  3. 边缘云
少年 #13 · 2023年12月27日 Author
花菜 回复

谢谢☺

少年 回复

哦。。。
这是实际落地项目么?
门槛是啥?大厂数据?

少年 #15 · 2023年12月27日 Author
magicyang 回复

数据,微调,agent,私有化

少年 回复

棒,垂直领域应该基本脱离测试了吧?
顺带说一句腾讯也卷细分领域的话,小厂哪来的活路啊😓。。。

hwijew 回复

哈哈哈,笑死我了

少年 #18 · 2023年12月28日 Author
magicyang 回复

可能广义上也能算效能优化?只是不是传统意义上的工具平台赋能,而是 AI 赋能,可能未来效能都会偏向这个趋势,小到 RAG 知识库,大到业务专家领域微调打造标杆案例等等。

少年 #19 · 2023年12月28日 Author
qinhuagen 回复

那顺手当个作家可行不?

优秀的少年

少年 回复

哦,明白了,那压力没对外卷那么大了。。。
挺好~

需要 登录 后方可回复, 如果你还没有账号请点击这里 注册