Arm NN: 加速Arm平台上的机器学习推理

Ray

Arm NN:加速Arm平台上的机器学习推理

Arm NN是一款开源的机器学习推理引擎,专为Arm架构优化设计,可显著提升Android和Linux设备上机器学习应用的性能。作为连接现有神经网络框架和底层Arm IP的桥梁,Arm NN让开发者能够充分发挥Arm Cortex-A CPU和Arm Mali GPU的计算潜力,加速机器学习工作负载。

主要特性

支持TensorFlow Lite、ONNX等主流神经网络格式
针对Arm Cortex-A CPU和Mali GPU进行了深度优化
提供C++和Python API,易于集成
开源项目,采用MIT许可证
支持Android和Linux操作系统

工作原理

Arm NN的核心功能是将主流神经网络框架(如TensorFlow Lite、ONNX)的模型转换为内部表示,然后通过Arm Compute Library高效部署到Arm Cortex-A CPU和Mali GPU上。这一过程无需修改原始模型,就能实现显著的性能提升。

Arm NN工作流程

性能优势

得益于Arm架构专有的优化(如SVE2指令集),Arm NN的性能显著优于通用机器学习库。以下是Arm NN在不同平台上的性能数据:

在Cortex-A78上,Arm NN比通用TensorFlow Lite快2-3倍
在Mali-G78 GPU上,Arm NN可实现4-5倍的加速
对于Ethos-N NPU,Arm NN能够充分发挥其硬件加速能力

快速入门

使用Arm NN最简单的方法是通过TensorFlow Lite委托。以下是一个Python示例:

import tensorflow as tf
import numpy as np

# 加载TFLite模型
interpreter = tf.lite.Interpreter(model_path="model.tflite")
interpreter.allocate_tensors()

# 配置Arm NN委托
delegate = tf.lite.experimental.load_delegate('libarmnn_delegate.so')
interpreter.ModifyGraphWithDelegate(delegate)

# 运行推理
input_details = interpreter.get_input_details()
interpreter.set_tensor(input_details[0]['index'], np.array(input_data))
interpreter.invoke()

对于Android开发者,Arm NN提供了AAR(Android Archive)文件,可以轻松集成到Android Studio项目中。

构建和安装

Arm NN提供了多种安装方式:

预编译二进制包:支持多种Android和Linux版本
Debian软件包:可通过apt安装
从源码构建:使用Arm NN Build Tool可定制构建过程

对于从源码构建,推荐使用Arm NN Build Tool:

git clone https://github.com/ARM-software/armnn.git
cd armnn/build-tool
./build.sh --architecture arm64-v8a

社区和支持

Arm NN是一个活跃的开源项目,欢迎开发者参与贡献。您可以通过以下方式参与:

GitHub Issues:报告bug或提出新功能建议
Pull Requests:提交代码改进
邮件列表:与其他开发者交流讨论

此外,Arm还提供商业支持服务,帮助企业客户更好地应用Arm NN。

结语

Arm NN作为针对Arm架构优化的机器学习推理引擎,为Android和Linux设备带来了显著的性能提升。无论是移动应用开发者,还是嵌入式系统工程师,都可以利用Arm NN来加速机器学习工作负载,充分发挥Arm硬件的潜力。随着边缘AI的快速发展,Arm NN将在智能终端设备的机器学习应用中发挥越来越重要的作用。