随着人工智能 （AI） 在我们的日常生活中继续发挥更大的影响力和影响，该领域正在从基于云的推理迁移到边缘和端点推理。基于边缘的推理为各种物联网设备带来智能，使数据能够在本地处理并实时做出决策，同时提高数据隐私和安全性。
Arm 的 Ethos NPU 如何增强边缘和端点的 AI 性能？
多年来，Arm 一直在开发边缘 AI 加速器，以支持对边缘和端点推理工作负载日益增长的需求。通过 Arm 的 Ethos-U55 和 Ethos-U65 NPU，我们推出了两款非常成功的产品，为边缘和端点的 AI 应用带来了高性能、高能效的解决方案。
Ethos-U55 部署在许多基于 Cortex-M 的异构系统中。Ethos-U65 将 Ethos-U 系列的适用性扩展到基于 Cortex-A 的系统，同时提供两倍的设备端机器学习 （ML） 性能。这两款产品都提供了统一的工具链，便于开发和支持常见的 ML 网络操作，包括卷积神经网络 （CNN） 和递归神经网络 （RNN）。
Transformer 架构对 AI 开发有何影响？
Transformer 架构于 2017 年推出，彻底改变了生成式 AI，并成为许多新神经网络的首选架构。基于 Transformer 的模型可以使用注意力机制处理顺序数据，并在许多 AI 任务中取得了最先进的结果，例如机器翻译、自然语言理解、语音识别、分割和图像字幕。
这些模型可以进行调整和压缩，以便在边缘设备上高效运行，而不会对准确性造成太大影响，并在许多边缘和端点用例中展示最先进的进步。
Ethos-U85 NPU 在边缘和端点工作负载方面的主要优势是什么？
在我们之前的 Ethos-U 系列 NPU 成功的基础上，我们推出了一款新产品 Ethos-U85。这带来了一个加速器，其特点是具有与以前的 Ethos-U NPU 相同的高性能、节能理念，同时使用基于 Transformer 的网络在边缘和端点上实现当前和即将到来的工作负载。
Ethos-U85 是 Arm Ethos-U 产品线的第三代 NPU，也是迄今为止性能最高、能效最高的 Ethos NPU。与前代产品相比，它的性能提升了 4 倍，能效提高了 20%，在流行网络上的利用率高达 85%。这解决了物联网应用的需求，在这些应用中，我们看到更高的性能需求，例如工厂自动化和商用或智能家居摄像头。它还设计用于与 Cortex-M 以及基于 Cortex-A 的系统一起运行，并可承受高 DRAM 延迟。
Ethos-U85 的一些主要功能包括：
支持从 128 到 2048 MAC/周期的配置 – 256 GOPS/s 到 4 TOP/s（1GHz）。
支持 int8 权重和 int8 或 int16 激活。
支持 transformer 架构网络，以及 CNN 和 RNN。
硬件原生支持 2/4 稀疏性，吞吐量翻倍。
29 至 267 KB 的内部 SRAM 和多达 6 个 128 位 AXI5 接口。
支持重量压缩，具有标准和快速重量解码器。
支持扩展压缩。
除了目前 Ethos-U55 和 U65 支持的算子外，Ethos-U85 还将通过支持 TRANSPOSE、GATHER、MATMUL、RESIZE BILINEAR 和 ARGMAX 等操作，为转换器网络和 DeeplabV3 语义分割网络提供原生硬件支持。
Ethos-U85 还支持元素运算符链接。链接将元素运算与先前运算相结合，使SRAM不必写入然后读取中间张量。这可以通过减少需要在 NPU 和内存之间传输的数据量来提高 NPU 的效率。与 Ethos-U65 相比，链是 Ethos-U85 中几个改进的效率功能之一，此外还有快速权重解码器、改进的 MAC 阵列的电源效率和改进的元素效率。
Ethos-U85 系统配置
Ethos-U85 可用于与 Ethos-U55 和 Ethos-U65 相同的系统配置流程，我们正在引入从基于 Cortex-A 的系统直接驱动 Ethos-U85 的功能。
Ethos-U85 还将支持与之前的 Ethos-U 系列产品建立的相同软件工具链，该系列使用 TFLmicro 运行时。这将扩展已经使用Cortex-A/Cortex-M和Ethos-U55/Ethos-U65的系统进行投资的价值，因为Ethos-U85在此基础上构建并利用该价值来实现基于变压器网络的更广泛的用例。将来，我们希望启用对 ExecuTorch 的支持，这是边缘设备的 PyTorch 运行时。
Ethos-U85 支持的算子将在 NPU 本身上加速，而如果有任何不支持的特殊算子，那么其中一些可以在使用 CMSIS-NN 的基于 Cortex-M 的系统上加速。例如，在 tinyLlama 的情况下，该模型完全映射到 Ethos-U85，没有将操作员回退到 CPU。
最后，作为 Corstone-320 的一部分，Ethos-U85 构建在我们最新的物联网参考设计平台的核心。这有助于在各种基于 AI 的物联网解决方案中加速高性能片上系统 （soc） 的开发和部署。
在边缘释放所有 AI 功能
Ethos-U85 将带来在边缘和端点设备上执行许多最先进的 AI 功能所需的计算能力。随着人工智能世界的发展，我们的合作伙伴将拥有可靠、高效和高性能的基于 Ethos-U 的解决方案。我们希望看到 Ethos-U85 部署在新兴的边缘 AI 用例中，例如智能家居、零售或工业环境中，这些领域需要支持最新 AI 框架的更高性能计算。
在 Arm，我们为能够为我们的合作伙伴和生态系统提供尖端的硬件和软件解决方案而感到自豪。借助 Ethos-U85，我们正在打开一个充满边缘和基于端点的 AI 推理用例的可能性世界，这些用例将改变世界。随着我们继续在 Arm 上构建边缘 AI 的未来，Arm 正在将边缘 AI 创新提升到一个新的水平。
在此处了解有关 Arm Ethos-U85 的更多信息。
作者： Parag Beeraka，物联网细分市场高级总监手臂
审核编辑 黄宇
推荐阅读：
