AI测试 NPU 释放端侧 AI 算力,华为 HiAI 带来云 + 端 + 芯三位一体能力

华为终端开放实验室 · 2018年04月12日 · 643 次阅读

大数据、算法和算理方面的突破,掀起了第三次 AI 浪潮。而在个人终端上,由于 AI 技术的复杂度,硬件环境上的种种限制,严重制约了 AI 的发展。为了解除 AI 在个人终端上发展的制约,促进整个产业更快、更好的发展,需要构建一个更开放的生态,Huawei HiAI 应时而生。在 3 月 29 日 2018 新智元产业·跃迁 AI 技术峰会上,华为软件工程部副总裁张宝峰详解 HiAI 如何快速帮助开发者、赋能产业链。

张宝峰,现负责华为终端 AI 软件的开发和交付。华为诺亚方舟实验室创始人,曾任实验室副主任,负责数据科学领域的中长期技术研究管理工作,研究方向为数据挖掘、机器学习和人工智能。中国核高基专家组成员和中国 CCF 大数据专家委员会成员。张宝峰 1998 年加入华为,在信息科技领域有超 20 年的工作经验,有丰富的国际/国家标准组织活动经验,曾任国际电信联盟 13 研究组固定移动融合课题的报告人,中国通信标准化协会网络与交换技术工作委员会副组长。

他表示,开放、平等、协作、快速和分享是我们所谓的互联网精神的追求,这也是今天我想和大家分享的主题。

1

行业普遍存在算力、服务碎片化、人才获取难等痛点,NPU 释放端侧 AI 算力,开放生态激活 AI 应用场景

去年我们面临的主要是计算力不足的问题,下半年我们在 Mate10 上发布了具有独立 NPU 的芯片加速深度学习的模型。

现在我们遇到了另外一个问题:当用 AI 加速手机上所有功能特性的时候,用户如何真正从 AI 当中获益?现在标准的模式就是用户下载 APP,不管是购物 APP 还是订酒店的,这些本身都是第三方应用提供的,用户衣食住行的方方面面可能会面临成百上千万的 APP 选择和服务能力,如何解决这个问题才是目前我们让最终用户直接获益的最大挑战。

还有一个问题,就是如何真正快速地把 AI 变成软件技术能力。一个简简单单的广告业务有那么多复杂的数学要去理解,应用当中有算力的问题、性能的问题,如何让普普通通的开发者快速地使用 AI 能力解决自己应用软件的问题,解决用户的痛点,这是我们看到的另外一个机会。

千金不易得,良将更难求。现在 AI 热炒的情况下很难找到足够多的资源解决产业的应用。相信所有做 AI 的公司都会面临以上这些基本问题,而我们在做什么呢?我们希望把这些东西开放出来。

去年我们在把 AI 能力赋予手机,想把手机变成个人助手,这个领域我们只是走了一小步,未来我们希望把三层能力全部开放给合作伙伴。

3

首先是芯片的能力,端侧执行深度学习,相信能够给非常多的软件满足基本需求,比如图形图像处理、视频图像分割和对象识别为主体的应用软件。手机执行的高效也是非常大的挑战,Foundation 层面需要真正实现。

其次是简化的能力,我们要把 NLU 和 CV 的能力开放出来。后面也会有些基本的例子,这里可以先告诉大家一个数字:之前我们和一个合作伙伴联调,只需要四个小时的时间就把基于文档识别、文档转换、模型变换变成了原生能力,嵌入到了自己的应用软件当中。这是 AI Engine 真正把产业化应用的成熟模型变成第三方合作伙伴可以用的工具。

第三就是服务和生态,我们追求整个 AI 能力的时候希望能够从最终的用户视角出发,用户到底能够从哪些业务当中获益,所以我们希望能够把这些东西快速触及到华为所有的用户当中。

这三层其实是华为把 AI 能力快速赋予整个产业链,加速 AI 产业的成熟。我们有几个优势:首先是模型的执行效率。往往在端侧执行模型,特别是移动终端设备执行的时候会出现一个非常大的问题,并不是单纯的计算力问题,还有可计算的问题。英伟达强调搞定 GPU 是 118.5/Turrent Flops,我们其实要讲的是每瓦功耗的指标。

另一个优势是如何简单和高效。这种成熟的模型在第三方嵌套的时候希望做到小时级的拼接,这样开发的时候可以快速赋予软件本身。完备的工具链是所有开发者梦寐以求的东西,最后就是成熟的服务生态。

4

典型案例:50 倍效能比、20 倍效率提升,侧端运行效率提升 300%

下图是去年我们手机的指标,50 倍的性效比、20 倍的效率提升,其中一个业务可以达到接近 300% 的效率提升,单帧的渲染时间是 2.5 秒。

5

下面是我们和国外一家叫 Prisma 的公司做的,点击以后可以看到基本的执行时间。

v.qq.com/iframe/preview.html?vid=u1336o3b6it

Prisma 在欧洲非常流行,强调的是如何把一个图片变成有艺术风格的,号称 “渣片变神器”,渲染成梵高油画风格。通常情况下 1 帧渲染需要 10 秒时间,这就是我们加速的效果,未来以图形/图像为主的应用软件端侧的执行效率是非常本质的指标,所以应用要执行得快、执行得爽是一个很大的基础。

应用开发方面,我们已经做了很多积累,调研了接近 300 多家在中国的合作伙伴,主要的需求其实还是 CV、ASR 部分。

6

中国也有非常多的公司提供这样的能力,我们强调的是希望把这些能力赋予端侧执行,哪怕没有联网的情况下也能够真正地使用户享受到 AI 带来的便利,主要聚焦的方式就是直播、社交平台、拍照处理等等。

我们会把这些能力赋予整个产业链,希望这些工具和 AI 的模型能够被别人最轻量级地集成到自己的应用软件当中,比如购物的时候包括扫码、服务推荐、身份证识别等等都可以封装成为一个 API,我们有了这样的能力以后就可以使得合作伙伴做得更快。

下面是我们自己的相册,基本功能就是把一系列照片当中最好的一张找出来。因为我们做用户调研的时候经常遇到一个问题,用户拍了很多张,同一个地方同一个场景,但如何找到最好的照片分享出来其实是很痛苦的。我们用了美学评分的模型,其实对我们相册的应用软件,开发的时候只需要两行代码嵌套到自己的业务逻辑就够了。

7

同样的模型 Prisma 也做到了,场景识别的模型以前是用在相机上面,但是 Prisma 有非常多的风格。这张照片如果是人像的话,如何才能找到人像风格最匹配的风格变化的模式,或者如何找到风景最合适的模式都是它的挑战,集成的时候基本上也是用几行代码的时间就把一个基于图片本身检测场景的能力做进去。我们可以通过 Java 和 JSON 的方式几分钟把它变成代码的一部分,然后几小时把它变成应用软件和可以使用的功能。

下面是去年我们做的服务直达,包括服务原子化,前几天我们也做了免安装轻应用的联盟。这里我们感觉到更多的是随着 AI 能力的部署,用户会面临服务选择的困惑,就是在一个恰当的场景下到底应该用哪个功能,打车、购物的时候可能也有好几个不同的选择。

8

这些基础的能力如何才能真正有效地在恰当的时间、恰当的场景推送给用户,需要基于用户本身的场景、偏好和持续的学习来解决的。

成熟的服务生态与合作伙伴共赢,覆盖 35 万 + 开发者

我们会把这些东西变成一个一个的入口,让最优质的品质服务商能够找到用户真正的需求,就是一个双赢的局面。我们希望手机上本身的 AI 能力对用户场景的判断、对用户行为的判断能够使能这些真正优质的服务商快速地把服务推广到用户那里,这就是应用推广方面我们的努力和尝试。

现在华为 HiAI 生态已让 3.4 亿最终用户受益,同时华为每年有 1.5 亿台的出货量,这些都是真正服务于广泛用户的基础,通过整个产业链分享给第三方开发者的话差不多是 35 万 + 的规模。

通过这样的生态想要做到的就是能够快速地让华为的用户受益。华为关注的是手机用户真正的体验,我们并不希望 AI 这个东西只是变成产品炒作的卖点,而是希望能够让最终用户受益。

这里我们也需要关注 IDE,把刚才的 Foundation 和 Engine 的能力集成到 Studio 当中,通过几个 Button 进行模型的调试,甚至会跟自己的仿真真机环境对接,这样完全可以一键式地把自己的 AI 能力赋予端侧软件。其实这里主要强调的就是集成的时间,我们不希望 AI 是一个神话,而是希望每一个应用软件都能够享受到这样的基础。

9

我们正在打造一个开发者联盟,这都是我们正在运行的平台,近期我们也和新智元合作做了很多部署和推广,真正的梦想就是要让整个产业链最快速度地把自己的业务服务于华为的手机用户。

我们希望能够打造这样的生态,快速地执行自己压力比较大的软件,内部经常说的是 Make it possible。我们也在和抖音合作,就是如何精准地刻花一个人的对象,如果是以前 CPU 和 GPU 的话手机很快就会发烫,然后就无法真正持续,希望用户通过这样的机制得到最好的体验,同时也能够简单、非常容易地把 AI 变成原生应用的一部分推广出去。最后就是在整个大生态当中产生多赢的效果,用户使用华为手机的时候享受到最好的人工智能带来的服务、便利和体验。

这些就是今天我们想和大家分享的主题,让 AI 走下神坛,不要过度地吹嘘 AI 能够带来的东西,而是真正从用户视角关注 AI 到底能够带来怎样的用户体验和服务,只有这样才能驱动整个产业链的良性发展。

暂无回复。
需要 登录 后方可回复, 如果你还没有账号请点击这里 注册