口罩和核酸,咋一想起来很遥远,其实也不过去年。
逝者如斯夫,不舍昼夜。
2023 年过得也比想象中的快,平和的一年底下是暗藏的波涛汹涌,没有星空仰望,也没有实地可踏。
随波逐流的时代,特立独行的猪更显珍贵。
网易云音乐年终报告和 QQ 音乐年终报告的轮番推送,也在提醒我,是时候腾出时间来写今年的年终总结了。
今年严格意义上来说,是跨时代的一年,不管是于我还是于互联网行业。
ChatGPT 的诞生,席卷一场 "Decoder-Only" 的 AI 革命,大力出奇迹的魄力,让人心生向往。
而我也将精力都梭哈于此,说是转行也不为过。
未来 AI 赛道,大概也只有两条路可走。
要么卷算法和基座大模型,要么卷数据和垂类小模型,前者有 GPT4 和 Gemini Pro 两座大山,也就只有后者弯道超车的机会更大。
认知的更新是其中最大的改变。
相较于传统的思维,AI 进一步解放了数字时代的生产力,也将曾经认为的很多不可能,都变成了可能。
记得曾经还有过一场很有意思的谈话。
有次聊起 OpenAI 宫斗的起因之一,"Q*" 的重大突破,有望让 GPT5 达到初级 AGI 水准。
然后我说,如果 AI 未来真的可以自主学习和思考,而不像现在这样只是被动喂数据训练的话,很难判断它是不是就没有诞生自己的意识。
LLya 坚持 AI 需要跟人类对齐的担忧不一定没有道理,可惜我是三体降临派。
虽然 AI 一切都是矩阵运算,但是人脑的思考,也很难说清本质不是在做矩阵运算,只是一个在供电能,一个在供生物能。
说到这里,有人突然发问,那自我意识的本质是什么呢?
我的理解是自我意识,就是自我本我超我的比例混合出来的产物,哪个部分的比例高,就掌握了股东的话语权。
自我本我超我各自有一套不同运行规律的计算公式,负责矩阵运算,所以输入相同,但是经过不同计算规律的矩阵运算,得出来的结果就不同了。
然后普通 AI 跟智能 AGI 的区别,就是在于普通 AI 的运算规则写死了,但是智能 AGI,自我本我超我比例随时会受环境和自我学习的改变,计算规则也会随之改变,所以符合自主思考变化的条件,就是智能生命了。
毕竟不真正做出选择的时候,就是薛定谔的猫,人心和思维的难以捉摸,多像这样的测不准。
你的喜欢,你的开心,也不过内啡肽和多巴胺在作祟。
虽然数学是万物基石,但算不明白的时候,往往需要哲学解惑。
有次在公司内部做 AI 分享的时候,给出了我定义的三条 AI 认知公式的突破。
并在分享结尾直接引用了雷军的一句话。
"只有认知突破,才能带来真正的成长。"
作为这 Part 总结的结尾,也合适不过。
有个很常见的现象,很多人毕业之后,大部分的工作不一定是自己学的专业。
那这说明大学学的东西没有用吗?
其实不是的。
在我看来,"掌握新技能 = 新的领域知识 + 学习模式 + 惯有思维认知逻辑"。
学一门量子力学,学一门概率论,对你毕业后的工作不一定有用,但是却能检验你的学习模式是不是高效的,能不能应对新知识的冲击重新快速建立知识体系。
也能检验,这个新的知识体系,能不能促使你的思维认知做出新的突破。
只有掌握了基本盘,便可以以不变应万变,处变不惊。
比如 AI 方向本来就是一个知识体系非常庞大繁琐的领域,日新月异的技术和论文,我们该怎么做?
每个人也许都有自己的见解,这里只分享我的见解,无谓高低,适合自己的就是最好的。
这也是我年中 AAR 给出的结论。
" 先不求甚解,再见贤思齐,而后求甚解之。"
然后配合新方法 + 新技能,就可以不断实践出真知。
比如 " 炼丹百遍,其义自见。"
就像前面所说的,转行做 AI,这个新领域知识,就是一次检验学习模式和思维认知逻辑的机会。
能经受这样的冲击,并做出一定成果,也算是成长吧。
然而技术理解力和判断力才是我自傲的地方。
年初 3 月,ChatGPT 大力出奇迹的震撼还未消退之时,我已经在内部做了一个《Explore AI Models - Facebook's LLAMA, Stanford's Alpaca, And Beyond 》的分享,并判断未来一定是基座大模型和垂类小模型共存的趋势。
而如今,开源垂类小模型百花齐放。
年中 5 月,秉承 "出名要趁早" 的理念,我发布司内第一个微调训练垂类小模型和多篇相关技术经验分享,多次夺下头条文章作者。
而如今,微调垂类小模型已是常态。
年中 6 月,选型 "llama.cpp" CPU 推理,致力于训练优化弥补量化损失,走出低成本高收益路线,也认识了很多前来请教交流,志同道合的伙伴。
而如今,我提出多种训练优化手段,比如 CoT 对私有小模型的效果不明显,不如把任务拆的更细,Chain 的每个节点,都可以看做是一个子任务,通过多种逻辑方式组合,比如正反逆推,信息提炼等等,来加强私有大模型输出准确结果的概率,后来直接被 Meta-math 写进了论文,作为最新的训练调优成果。
年末 9 月,设计开发生产级别 CPU 推理方案,落地业务投入使用。
而如今,"llama.cpp" 依旧是 CPU 方案最优解。
年末 10 月,提出 "新型 MoE" 大一统模式,通过组合多个垂类小模型来拼凑替换传统 MoE 大模型,提供更低的微调部署成本和更高效的迭代。
而如今,Mixtral 传统 MoE 大模型带着惊艳效果登场,与之而来的却是更高昂的微调和部署成本。
当然,我个人认为,最大的成长,还是在于思维的转变。
原来一直是 "技术至上" 的理念,今年却在更多的思考,产品,商业化,运营。
从立项做项目,到带领团队攻坚,到落地合作共建,到商业化探索思考,亦或是写 PPT 找大老板汇报,对我而言,推升更多的反而是这些软技能。
比如因为招聘需求还顺手考下了面试官证书,这个系列的培训课程,还是很受益匪浅。
技术虽然重要但只是其次的,还有很多比技术更重要的东西,这才是我的新成长。
令人意外的是今年听了很多告五人的歌。
当然不意外的年度歌手依旧是周杰伦 & 邓紫棋轮番交替。
用网易云主要还是为了听《T.I.M.E》这张专辑,仿佛又回到了曾经歌手每周等一首新歌的期待。
当然最惊喜的还是,抢到了今年深圳场邓紫棋的演唱会 !!!
纷玩岛 yyds !!!许愿 VIP 2/3 区第一排 !!!
还有人生的第一张彩胶。
翻了一下启示录专辑冷门歌曲为演唱会预热,居然还发现了很多冷门遗珠。想着如果启示录也有彩胶就好了,凑多点说不定就可以召唤黑胶机了。
还去听了一场《你的名字》音乐会,唯一遗憾的是,如果你的名字曲目能演奏多一点就更好了。
毕竟除了写代码,也就看书和听音乐的时间最多了。
今年因为新冠,甲流,各种影响,嗓子一度状态不好,也就好久没有录歌了,所以关于这 Part 的分享就算了。
今年最成功的一件事,应该就是怎么样准备求婚而不被察觉。
这是一个相当不容易的事情,甚至还需要耍些 "故弄玄虚" 的小手段来转移视线和注意力。
所幸最终计划成功,为这些年的青春陪伴画上比较完美的句号。
最后还一起看到了今年唯一次早起日出的场面,初阳穿破云雾看见新生。
然后脑子就冒出一句非常中二的话,"我要这天,再也遮不住我的眼",一下子乐了。
记得去年跨年趁着疫情刚放开大家还在犹豫要不要出门的时候,我已经带着憋了三年的劲来到了珠海长隆跨年。
当时的江边就像现在的深圳冬天一样冷,甚至当时还有点迷茫,看着倒计时,想着今年可能的新规划,可能的新方向,一切都是犹未可知的状态。
所幸今年依旧是有所求,有所得的一年。
希望明年也是。
那今年最后的祝福,希望大家都能充值到账 hhh
新的一年,何以解忧,唯有暴富。
那就祝愿大家早日暴富,也祝我早日暴富 hhh