高性能计算 @ 南京

  • 2024.4 记录一下。。。 at 2024年06月14日

    量化 GPTQ 和 AWQ 也都不支持,只支持最基础量化。DEMO 玩玩可以,商用最好再看看。
    GPTQ/AWQ,也有 MARLIN 的 FP16*INT4 的加速实现。VLLM 继承了 GPTQ 的 MARLIN,AWQ 有些小限制。

    话说,你具体是什么角色呢。。。
    我直接一点,看上去不像是做基础架构的啊。。。

  • 2024.4 记录一下。。。 at 2024年06月13日

    陈天奇现在没以前卷了。。。
    框架底层更新和其他框架,如 VLLM 没法比。
    VLLM 已经支持 FP8 了。。。

  • 我裸辞了!!! at 2024年06月03日

    做培训首先要立人设。
    开始立的时候,就和技术没啥关系了。。。
    真做技术培训的,连吴恩达都干不下去了。还是韭菜好收割。

  • 成功的经验往往是过往在对的时间点做对的事情。
    对的事情通常是大部分人都看不到的机会,我们大部分人都是被动的接受任务,而不是自我去找目标。

    什么是当下对的事情?
    如果放到 5 年前,我可能会说你去看一看 CS231N,去学习一下视觉基础。去看一下简单的数据结构,如 CS61B。
    现在我也不知道。你可以看到高飞说了几篇文章,他也没有明确的未来目标和方向。

    其实我个人觉得大模型的应用,迟早会爆发,但是什么时候能通过 SCALING LAW,通过硬件算力的不断迭代,突破人类阈值不知道。
    还有一个可以确定的是,AI 提升整体生活质量的同时,必然进一步压缩开发成本,对大部分尤其是程序开发人员来说都是做空。

    所以你不想落后,该卷还得卷。你卷少了还不行,当你发现可以通过 AI,把代码开发从 100 人降到 30 个人的时候,必然是 1-2 个算法大佬 +28 个干活的,大佬的收入提高了,底层员工由于工作岗位的减少,会陷入更加严重的内卷。而企业通过这种内卷节约了成本。
    未来普通人会变得更加工具化,这个趋势可能会非常快。

    有理想的可以去看看去年曾鸣的看 10 年,关于未来科技公司的组织架构,看看自己能在其中承担什么样的角色。
    你们要问具体什么路径可以突破?--我觉得还是躺平靠谱点,何必自己折磨自己,想那么多干么。

  • 聊聊 ChatGPT 的本质 at 2024年05月30日

    这标题起的是真的牛,真的敢。。。

  • 哈哈,那就要问 1 轮,2 轮,3 轮,4 轮,合在一起碰到傻逼面试官的概率大概是多少呢?

  • 我为什么要学技术 at 2024年05月27日

    在现在没有任何一门语言或者技术能让你干到退休。
    技术的相对高回报会导致越来越多的人参与,不断的有新的技术进行迭代。
    而且随着信息的传播速度越来越快,这个时间越来越短。
    在 10000 小时定律不变的情况下,还要求有不断快速学习的能力。

  • 我为什么要学技术 at 2024年05月27日

    要素太多了。2/8 定律,同时适用于工作安排。
    我一直觉得测试的目标就是要做确定性。
    但是不确定的事情才更有价值,这本身就是矛盾的。
    带来的问题就是从思想上,测试中的绝大多数人都是被动的,严重缺乏自驱。

    现在不比 7、8 年前,你多做一点就有机会。
    现在的学习成本高,招人要求更高,投入产出比低到,绝大部分人都根本不可能看到有回报的那一天。

    适当降低欲望,还靠谱点。
    除非你有极强的自驱,我现在都不推荐人学习了,就算学会屠龙技,也轮不到你来屠龙。

  • 我为什么要学技术 at 2024年05月27日

    你才是极少数,人生本就有太多随机性。。。
    我现在都很难保证做的技术能一定转化成企业利润。。。

    你现在的价值是在第四范式建立的,一方面是 AI,一方面是运维经验。
    这些经验都是需要实践的。
    至少我认为在这个时间点,大厂是绝不可能给没经验的人试错机会的。--这需要前瞻。

    你 AI 测试专栏也写了不少期了,只靠学习能达到你说的内容么?能有市场竞争力么?--这才是最无奈的。

  • 作为过来人,转之前和刚转 2-3 年的时候是这么想的,但实际这条路是不通的。
    底层开发不好干,要么卷死,要么就被各种嫌弃。
    这种有退路的想法做业务开发可以,做偏底层的会被吊打的。
    歧视也更严重,我大概 3 年前面试还会被歧视,你做测试有 10 年,技术上有啥成果,有什么深度积累。

高性能计算 @ 南京