实力不取决于骁龙8为AI所做的幕后事实，这些鲜为人知。

今年新一代骁龙8移动平台发布的时候，高通又翻译了一遍。这是什么意思？

通过识别用户可能患有的疾病，如抑郁症、哮喘等，让手机学会“听诊”；

让手机实现“防偷窥”，通过识别陌生用户视线实现自动锁屏；

让手游获得超级分辨率，把过去PC只能运行的画质搬到手机上体验。

更重要的是，这些AI功能，骁龙8有* *同时* *运行的能力！

高通声称，第七代人工智能引擎在骁龙8上的性能是上一代的4倍。

这意味着我们玩手机的时候，同时“打开更多”AI应用是没有问题的。更重要的是，不仅仅是简单的AI性能提升，更重要的是给用户带来流畅的应用体验。

在硬件工艺升级如此困难的今天，高通是如何在7代AI引擎的性能和应用上“翻出”这么多新花样的？

我们翻阅了高通发表的一些研究论文和技术文件，发现了一些“线索”:

在高通发布的AIMET开源工具文档中，有“如何压缩AI超分辨率模型”的信息；

在一篇与“防偷窥”相关的技术博客中，介绍了如何在保护隐私的前提下使用物体检测技术。

这些文件和技术博客背后的峰会论文都来自一个机构——高通人工智能研究院。

可以说，高通在第七代AI引擎中隐藏了很多研究所发表的AI论文。

峰会论文“躲”手机AI

我们来看看第七代AI引擎在* *相机算法上的改进。

对于智能识别的这一点，高通今年将面部特征识别点的数量增加到了300个，可以捕捉到更细微的表情变化。

但与此同时，高通将人脸检测的速度提高了300%。这是怎么做到的？

在CVPR高通发表的一项研究中，我们找到了答案。

在本文中，高通提出了一种新的卷积层，称为跳跃卷积(Skip-Convolutions)，它可以将前后两幅图像相减，只对变化的部分进行卷积。

是的，就像人的眼睛一样，更容易注意到“运动的部分”。

这使得骁龙8在做目标检测、图像识别等实时视频流检测算法时，可以更专注于目标物体本身，同时利用冗余的计算能力提高精度。

你可能会问，这么细致的人脸识别拍照有什么用？

此外，高通和徕卡联合推出了LeicaLeitz滤镜，它使用基于人工智能的智能引擎，包括人脸检测等算法，让用户可以智能地拍摄更多艺术照片，而无需思考。

不仅是人脸检测，高通在智能拍摄方面的功能还包括超分辨率、多帧降噪、局部运动补偿等。

然而，高分辨率拍摄中的视频流通常是实时的。AI引擎如何智能处理如此大量的数据？

同样是一篇CVPR论文，高通提出了由多个级联分类器组成的神经网络，可以随着视频帧的复杂程度改变模型中使用的神经元数量，自行控制计算量。

面对智能视频处理的“庞大而复杂”的过程，AI现在已经可以hold住了。

除了智能摄影，高通的语音技术也是这次的一大亮点。

正如开头提到的，第七代AI引擎支持用手机加速分析用户的语音模式，以确定哮喘和抑郁症等健康状况的风险。

那么，它是如何准确分辨用户的声音，并且不涉及收集数据的呢？

具体来说，高通提出了一种针对手机的联邦学习方法，既能利用手机用户的语音训练模型，又能保证语音数据的隐私不被泄露。

许多像这样的人工智能功能可以在高通人工智能研究所发表的论文中找到。

还能找到的是开头提到的AI提升手机性能的理论支撑。这就不得不提一个问题:

* *同时运行这么多AI模型，高通是如何提高硬件的处理性能的？**

这里我们不得不提到高通近年来* *的一个重点研究方向“量化”* *。

根据高通公布的最新技术路线图，模型量化是AI研究院近年来一直在研究的核心技术之一，目的是为AI模型“瘦身”。

由于功率、计算能力、内存和散热能力的限制，手机上使用的AI模型和PC上的有很大不同。

在PC上，GPU运行在几百瓦，AI模型可以用16或32位浮点数(FP16，FP32)计算。而手机的SoC只有几瓦的功率，很难存储大体积的AI模型。

这时候就需要将FP32模型简化为8位整数(INT8)甚至4位整数(INT4)，同时保证模型精度不能损失太多。

以AI抠图模型为例，我们通常可以借助计算机处理器的计算能力实现非常精确的AI抠图，但相比之下，如果要用手机实现“几乎有效”的AI抠图，就不得不使用模型量化的方法。

为了让更多的AI模型加载到手机上，高通做了大量的量化研究。峰会上发表的论文有* *无数据量化* * DFQ * *、舍入机制**AdaRound**、联合量化与剪枝技术**BayesianBits等。

其中，DFQ是一种无数据量化技术，可以减少训练AI任务的时间，提高量化精度的性能。在手机上最常见的视觉人工智能模型MobileNet上，DFQ实现了超越所有其他方法的最佳性能:

AdaRound可以将复杂的Resnet18和Resnet50网络的权值量化为4比特，大大减少了模型的存储空间，只损失不到1%的精度:

贝叶斯比特作为一种新的量化操作，不仅可以将比特宽度加倍，还可以在每个新的比特宽度上量化全精度值与前一个舍入值之间的残余误差，从而在精度和效率之间提供更好的权衡。

这些技术不仅能让更多的AI模型在* *功耗* *更低的手机上运行，像以前只能在电脑上运行的游戏AI Super Resolution *(类似DLSS)*，现在可以在骁龙8上运行；

甚至这些AI模型中的一些可以“同时运行”，例如姿势检测和人脸识别:

其实论文只是第一步。

为了快速将AI能力投入到更多的应用中，还需要更多的平台和开源工具。

向应用程序释放更多人工智能能力

在这方面，高通持开放态度。

这些论文中高效构建AI应用的方法和模型被高通AI研究院通过合作和开源的方式分享给了更多的开发者社区和合作伙伴，因此我们可以在骁龙8上体验更多有趣的功能和应用。

* *一方面，高通与谷歌合作，与开发者分享快速开发更多AI应用的能力。**

高通在骁龙8上安装了谷歌的VertexAINAS服务，每月更新一次，这意味着开发者在7代AI引擎上开发的AI应用的模型性能也可以快速更新。

有了NAS，开发者就可以用AI自动生成合适的模型，包括高通在峰会上公布的智能相机算法、语音翻译、超分辨率，这些都可以纳入AI的“过滤范围”，自动为开发者匹配最佳模型。

这里使用了高通的运动补偿和帧内插算法。而类似这些的AI技术，开发者可以通过NAS实现，可以更好的适配骁龙8，不存在“训练差”的问题。

试想一下，以后你用搭载骁龙8的手机玩游戏，会觉得画面更流畅，但不会更耗电(指增加耗电量):

同时也更容易维护AI模型。谷歌称，与其他平台相比，VertexAINAS训练模型所需的代码行数可以减少近80%。

* *另一方面，高通近年来也开放了他研究数量积累的工具。**

去年，高通推出了一个名为Aimet *的“效率改进”工具模型。

它包括大量的压缩和量化算法，如神经网络剪枝和奇异值分解(SVD)，其中许多是高通人工智能研究所发表的峰会论文的结果。使用AIMET工具后，开发者可以直接使用这些算法来改进自己的AI模型，使其在手机上运行更加流畅。

高通的量化能力不仅对普通开发者开源，还能让更多头部AI企业的AI应用在骁龙8上实现。

在新的骁龙8上，他们与NLP领域的知名公司HuggingFace合作，让手机上的智能助手可以帮助用户分析通知，并推荐哪些可以先处理，让用户一眼看到最重要的通知。

当在高通人工智能引擎上运行他们的情感分析模型时，他们可以比普通CPU快30倍。

正是技术研究的沉淀和技术上保持的开放态度，让高通不断刷新手机行业的各种AI“新脑洞”:

从之前的视频智能“消除”和智能会议静音，到今年的防偷窥屏和手机超分辨率。

还有更多论文、平台、开源工具实现的AI应用，也承载在这个AI引擎中。

隐藏在这些研究背后的高通人工智能研究所，随着第七代人工智能引擎的出现，再次浮出水面。

艾的“软硬兼施”

很多时候，我们对高通AI的印象似乎还停留在AI引擎的“硬件性能”上。

毕竟，自2007年第一个人工智能项目启动以来，高通一直在提高硬件性能方面的人工智能模型处理能力。

然而，高通对人工智能算法的研究也是“精心策划”的。

2018，高通成立了AI研究院，负责人是AI领域的知名理论学者MaxWelling，他是深度学习之父Hinton的学生。

据不完全统计，自高通AI研究院成立以来，已有数十篇论文在NeurIPS、ICLR、CVPR等顶级AI学术会议上发表。

其中至少有四篇模型压缩论文已经在手机AI端实现，涉及计算机视觉、语音识别、隐私计算的论文也不少。

上面提到的第七代AI引擎，可以说只是高通近年来在AI算法研究上取得成果的一个缩影。

通过在高通的AI研究成果，高通也成功地将AI模型扩展到许多前沿技术应用场景。

在自动驾驶方面，高通推出了骁龙汽车数字平台，该平台“涵盖”了从芯片到人工智能算法的一站式解决方案。目前已与超过25家车企达成合作，使用其解决方案的网联汽车已达2亿辆。

其中，宝马的下一代辅助驾驶系统和自动驾驶系统将采用高通的自动驾驶方案。

在XR上，高通发布了SnapdragonSpacesXR的开发平台，用于开发头戴式AR眼镜等设备和应用。

通过与WannaKicks合作，骁龙8还将第七代人工智能引擎的功能带到了AR试穿应用程序中。

在无人机上，高通今年发布了FlightRB55G平台，它的很多功能，比如无人机的360°避障、稳像等，都可以通过平台上搭载的AI模型来实现。其中，第一架抵达火星的无人驾驶飞行器“Wit”配备了高通提供的处理器和相关技术。

回过头来，不难发现，高通这次在AI性能上不再强调硬件算力(TOPS)的提升，而是通过软硬件的整合，得出AI性能提升4倍的数据，进一步强化AI应用体验的全方位落地。

这不仅表明高通更加注重用户的实际体验，也表明了高通对自身软件实力的信心，因为硬件并不完全是高通AI能力的体现。

可以说，骁龙8第七代AI引擎的升级，标志着高通AI软硬件一体化的开始。

最近，高通提出了几个关于编解码器的最新研究，分别在ICCV2021和ICLR2021中列出。

在这些论文中，高通还使用了人工智能算法，展示了编解码器优化的新思路。

在一项使用GAN原理的研究中，高通最新的编解码算法使得图像不仅更清晰，而且每帧图像更小，只需要14.5KB就可以得到:

相比之下，原编解码算法压缩到每帧16.4KB后，森林会变得极其模糊:

在另一篇将帧插入的思想与神经编解码器相结合的论文中，高通选择基于神经网络将P帧压缩和帧插入补偿相结合，并使用AI来预测帧插入后的运动补偿。

经测试，该算法优于此前谷歌在CVPR2020上保持的SOTA纪录，也优于目前基于H.265标准的开源编解码器的压缩性能。

高通将AI模型应用到更多领域已经不是第一次了，比如视频编解码的应用，这是一个新的方向。

如果这些模型能够成功的放到平台上甚至应用，我们就真的可以在设备上看视频而不会卡顿。

随着“软硬一体化”计划的继续，我们可能会在未来实际看到这些最新的人工智能成果应用到智能手机上。

结合高通在PC、汽车、XR领域的“秀肌肉”。

可以预见的是，你熟悉的高通和你熟悉的骁龙绝对不会止步于手机，他们的AI能力也将止步于手机。