这是鼎叔的第一百四十三篇原创文章。行业大牛和刚毕业的小白，都可以进来聊聊。
欢迎关注公众号《敏捷测试转型》，星标收藏，大量原创思考文章陆续推出。
今年第一篇文章，聊聊 AI 是否值得被信任，评估 AI 可信度的框架应该是什么样的。
有一些通用 AI 的拦路虎依然没有办法解决，有一些几年前被认为不可能解决的毛病已经被解决。在大模型不断狂飙的今天，有技术元老认为存在无法突破的瓶颈，必须引入世界模型和常识。
部分观点参考 Building AI We Can Trust,作者 Gary Marcus 和 Ernest Davis。
媒体里的 AI 报道可信么
新闻媒体总是把 AI 产品的每一次小成绩描绘成天翻覆地的历史性突破，导致普通民众过高估计 AI 的实际能力，从而产生被放大的焦虑感。
即使数据越来越充裕，AI 回答效果越来越惊艳，我们还是要认清现实，即繁荣背后有很多本质的东西缺失了，导致机器无法和人相提并论。
现代大模型训练路径和人类成长思维路径是不同的，人不是随机鹦鹉，也不只是死记硬背，而是有自己的个性、生活常识、自驱力、价值观、世界观和道德标准。人可以对自己的决策负责，通过创造力和想象力来改变世界，这种自我超越和自我牺牲的精神也是 AI 没有的。
人比 AI 做得差的地方，如情绪化、不稳定、速度慢、主观性，但这些真的就是缺点么？
不一定，这种真实的人性可能更受用户欢迎。也许在 AI 作品充斥世界的时代，真人个性化作品可能会受到更大追捧。
特定领域内的狭义 AI 即使很出色（比如围棋），我们也很难信任这样的系统去接管安全相关领域。开放世界中的 AI 机器人会遇到无限种可能，但狭义 AI 无法穷尽各种异常的处理（参见文章聊聊具身智能）。
阻止 AI 摘取赢得人类信任的主要原因，是一直以来人们都是从自己的认知来看待机器的 “思维”，完美而清晰的模拟数据就不可能获得。人类顾客给 AI 买单时，对错误的容忍度也会随着规模化应用而越来越低。
AI 的主要风险
对于 AlphaGo 或绝艺这样的围棋 AI，棋盘以外的世界它毫不关心。但是拥有强大体力的机器人，还是容易对外部酿成灾难的。
机器人的主人如果刻意或含糊其辞发出进攻型指令，主人自己或者身边的人可能会遭殃。
我们再具体想想，除了鲁棒性和通用性不足，AI 还存在哪些风险?
一，盲目依赖过去的数据进行训练，会导致偏见长期存在，比如生成成功人士的刻板形象。如果我们把有偏见的 AI 用于医疗，就可能导致输出的答案只适用于特定人群。
二，AI 用其他 AI 生产的数据来训练，产生严重的回音效应，并导致一个 AI 犯下的错误会被传播。
三，有些 AI 依赖于公众可任意操纵的数据。只要某个群体合谋捣乱，就能制造各种荒缪的网络误导。
四，目标陷阱。AI 经常是看重目标的表面达成，而无法理解实际需要获取的价值。
比如工程师鼓励足球机器人 AI“尽可能多地触碰足球”，就会发生机器人在球边快速抖腿的窘境。
给机器人看抓取物体的图片，机器人可能会误以为把机械手放在镜头和物体之间的位置即可，这样看起来目标就达成了。
还有些 AI 可能崇尚无为而治，每次无脑预测同一个大概率结果，可能比使用各种风险预测模型命中率更高，但这还是用户需要的效果么？
总结一下，AI 生成内容在整体上呈现 “通用场景可用，专业场景需谨慎评估” 的效果。
大模型训练主要基于概率生成而非事实推理，很容易导致幻觉或被恶意投毒，训练数据实效性滞后，因此难以覆盖前沿领域或新兴概念。当训练数据存在矛盾时，AI 更可能强行将输出进行合理化解读。
从研究数据来看，AI 工具每十个断言就有 1-2 个是无法验证，甚至凭空捏造的。
未来大模型公司如果能够训练 AI 自动进行多信源查证，提高权威信源权重，AI 在判断谣言这块的能力有望大幅增强。
深度学习面对的问题
深度学习比任何一门机器学习技术都要强大得多，但人们对它还是寄予了过高期望。
深度学习对数据是贪婪的，如果获取的数据量减少，它的表现水平会急转直下。
围棋这种规则千年不变的领域非常适合深度学习一展身手，但许多真实世界问题的相关数据是不足的。
深度学习的黑箱性质，导致我们很难教会它正确的思考。就好像我们使用强大的商业工具，不如使用可以修改的开源工具那么灵活。
因为常识的缺乏，可用于愚弄深度网络的方法越来越多，对于某些商业领域的 AI 服务，这是不可承受的风险。“深度” 仅仅指层数，并不意味着系统能领会所见数据中的丰富概念。稍微加入一点噪音，深度学习系统可能就会无法使用，脆弱性可见一斑。
相较而言，人类的视觉系统、语言系统和常识，天然就自带鲁棒性。
深度学习更像一门艺术，而非科学。系统内存的优化调整，有时轻而易举，有时难以登天。缺乏真实智能需要的灵活性和适应性，就像航天界的名言:爬上再高的大树，也无法抵达月球。
以阅读为例
深度学习的阅读障碍，来自于它关注的是相关性而不是真正理解，提问方式稍加改变，就会得到完全不同的结果。AI 在推理链条上处理能力不足，源于缺乏对这个世界基本运作规律的把握力，这就是人们已有的共识知识（常识）。很多时候常识是优先于文本出现的概率的，但要想把常识全提炼出来对于工程团队来说太困难了。
在高潜力的商业化 AI 应用中，理解非结构化文本是一个瓶颈。如病历、财务报表、科学论文等。
对长篇小说而言，人会在脑海中形成人物的形象和复杂的情感关系，AI 对此不感兴趣。AI 甚至听不出简单台词（如 “不!”）背后的角色意图。
人类语言充满了模糊性，存在很多的多义词，但人在上下文阅读时不会注意到这些。
以机器人为例
前文说过，机器人远没有演示场景中那么让人信任。
机器人需要对五大特征进行正确理解才能做到可控: 我在什么地方，周围环境在发生什么，现在我要做什么，该如何制定计划，如何行动才能确保最终目标达成。
每个问题的计算都很艰难，涉及多个尖端能力的突破:定位技术，运动控制，态势感知（预测风险），行动决策。
现实世界的偶发事件太多，各种可能性构成的空间无比巨大。丰富的认知模型和深度理解力才是关键，这是让 AI 能真正阅读的前提。
如何做到可信 - 从人类认知科学找答案
机器无需重复犯下影响人类思想的众多错误，无需继承人类的能力缺憾。认知科学给 AI 发展能带来不少重大启示:
一 没有银弹
不要只想着用很简单的奖励模型训练出通用人工智能，有可能通用人工智能的复杂性和人脑是一个水平。
二 心智模型
之前的文章聊过，人是学习成长是因为形成了强大的心智内部表征，聊聊刻意练习 - 构建心理表征。
AI 没有建立这种表征，就不可能有丰富的认知。比如让 AI 玩游戏，它就需要先理解游戏中核心部件的概念。
基于少量输入对核心表征进行创造和扩展，才能获取通用人工智能的灵活性。
心智是由多个系统组成的高度结构化系统，比如聊聊《思考，快与慢》提到的快系统和慢系统。
三 把概念嵌入理论
通用人工智能需要把获得的知识嵌入到更加丰富的理论当中，才能够把不同的事实组合起来。
四 因果关系
没有因果推理，我们就无法对这个世界进行理解。如果机器能做到因果关系的正确推理，将是一项伟大的成就。
五 AI 以类别为重点，而非以个体为重点
对于个体消费者而言，更希望自己的特征和独有需求被关注到。
六 先天还是后天，很难区分
生物学证据告诉我们，先天拥有和后天学习不是互为对立面的。类似，人工智能很难判断什么知识应该内置，并以此为起点，判断什么知识需要通过训练来掌握。
如何建立常识库
通过爬虫学习常识是最广泛的做法，但很多事实是互相矛盾，或者太过杂乱。
另一种方法是让普通人众包搜集常识。有时结果令人失望，因为列出的事实太过显而易见。就算众包能给出正确的消息，其格式也很难精准。
常识仍然是整个行业难以攀登的高山。我们要找到机器对知识进行表征的清晰手段，可以借助分类学、语义网络和形式逻辑进行梳理。但是，机器还不能脱离人类帮忙，最后得到的可能是一碗 “事实大杂烩”，尤其考虑时间维度，结果会更糟糕。
要理解世界是如何运转的，远比创造出逼真图像要复杂得多。游戏物理引擎可以有效生成正在发生的事情和互动，但我们无法从原子级别去模拟所有事物。
为了实现通用人工智能，首先要开发出能够表征人类知识核心系统的框架，包括时间、空间、因果关系、物理对象及其互动，人类及其互动等等知识，这才是深度理解。
从鼎叔的老本行来思考，人工智能在质量上的追求还远远不够，它算出个大概就行，缺乏失效保护机制，在很多行业会带来灾难。这也许是新时代测试工程师的机会。
未来的可信 AI
深度学习在很多方面不像传统计算机编程，而更像是药理学，目前还没有如何打造 “可解释的 AI” 的明确成果，无法让人们像信任人类工程师一样信任 AI。
AI 的创造者难以赋予机器足够的道德价值观，这不仅限于身体伤害和金钱损失，还包括名誉损失、人际关系恶化、间接伤害（如把水洒在结冰的道路上）、道德选择困境、法律缺失地带等。
一个经典的科幻小说叫做 “回形针”，超级 AI 为了达成 “尽可能制作尽可能多的回形针” 目标，开始了一场毁灭全宇宙的递进行动。这就是 AI 失去常识和道德约束的结果，也给了我们启发 - 不要给 AI 发布过于开放的指令，应该训练 AI 寻找降低自身风险的逻辑，或者用更优秀的理解风险的 AI 来治愈有风险的 AI。
计算机只要能够理解这个世界，以及理解我们所说的内容，就拥有了无限的可能性：跳出大数据和深度学习的局限，走向更具鲁棒性的预装常识和价值观的、深度理解世界的人工智能。
拓展思考
基于 AI 的可信度质疑，人的工作机会在哪里
人类的脑力劳动中包含着大量的脏累体力活，这部分被 AI 替代没有什么不好的，这也不由员工的意志为转移。政府的法律会通过对垄断 AI 公司利润收取高额税收或数据使用费，补贴受影响的民众，并提供工具培训，引导新时期的就业方向。
在 AGI 到来的时代，富有创造性的工作仍然需要人类来主导。
更具体地说，就是人主导开头和结尾，通过掌控工具和超越工具来保持先进性，预判未来发展的方向。
开头就是人提出好问题和好创意，让 AI 聚焦目标发力；
结尾就是人做好对 AI 的评测把关，承担相应职责并获取高额报酬，活可以让 AI 干，但是要承诺不出事。无法担责的人就容易被 AI 替代工作。
从这个意义上说，懂 AI 的系统测试工程师职位可能比开发工程师能稳固。