Larq计算引擎

Larq计算引擎(LCE)是一个经过高度优化的推理引擎,用于部署极度量化的神经网络,如二进制神经网络(BNNs)。它目前支持各种移动平台,并已在Pixel 1手机和树莓派上进行了基准测试。LCE提供了一系列手工优化的TensorFlow Lite自定义操作符,适用于支持的指令集,采用内联汇编或使用编译器内在函数的C++开发。LCE利用优化技术,如分块以最大化缓存命中数、矢量化以最大化计算吞吐量,以及多线程并行化以利用多核现代台式机和移动CPU。

Larq计算引擎是BNN开发系列库的一部分;您还可以查看Larq用于构建和训练BNNs,以及Larq Zoo用于预训练模型。

主要特性

无缝端到端集成从训练到部署:
- LCE与Larq和TensorFlow的紧密集成提供了顺畅的端到端训练和部署体验。
- Larq Zoo中提供了一系列Larq预训练的BNN模型,可用于常见的机器学习任务。
- LCE提供了一个自定义的基于MLIR的模型转换器,完全兼容TensorFlow Lite,并为Larq模型执行额外的网络级优化。
闪电般的部署在各种移动平台上:
- LCE通过提供手工优化的内核和针对BNN模型的网络级优化,实现了高性能的设备内机器学习推理。
- LCE目前支持基于64位ARM的移动平台,如Android手机和树莓派板。
- LCE中的线程并行支持对于具有多核CPU的现代移动设备至关重要。

性能

下表展示了Larq计算引擎在不同版本的名为QuickNet的新颖BNN模型(在ImageNet数据集上训练,发布在Larq Zoo)上的单线程性能,在Raspberry Pi 4 Model B 1.5GHz (BCM2711)板、Pixel 1 Android手机(2016)和搭载M1 ARM CPU的Mac Mini上进行了测试: 以下是英文到中文的翻译:

模型	最高1准确率	RPi 4B 1.5GHz, 1线程 (毫秒)	Pixel 1, 1线程 (毫秒)	Mac Mini M1, 1线程 (毫秒)
QuickNetSmall	59.4%	27.7	16.8	4.0
QuickNet	63.3%	45.0	25.5	5.8
QuickNetLarge	66.9%	77.0	44.2	9.9

作为参考,另一个主要的BNN库dabnn在Pixel 1手机上报告了Bi-RealNet(56.4%准确率)的推理时间为61.3毫秒,而LCE在同一设备上实现了Bi-RealNet的41.6毫秒推理时间。此外,他们还提出了一个修改版本BiRealNet-Stem,在43.2毫秒内实现了同样的56.4%准确率。

下表展示了Larq Compute Engine在Pixel 1手机和1.5GHz树莓派4 Model B (BCM2711)上的多线程性能:

模型	最高1准确率	RPi 4B 1.5GHz, 4线程 (毫秒)	Pixel 1, 4线程 (毫秒)	Mac Mini M1, 4线程 (毫秒)
QuickNetSmall	59.4%	12.1	8.9	1.8
QuickNet	63.3%	20.8	12.6	2.5
QuickNetLarge	66.9%	31.7	22.8	3.9

基于2021-06-11(Pixel 1)、2021-06-13(Mac Mini M1)和2022-04-20(RPi 4B)使用LCE定制的TFLite模型基准测试工具(参见此处)进行基准测试,启用了XNNPack,并使用随机输入的BNN模型。

入门指南

按照以下步骤部署BNN with LCE:

选择一个Larq模型

您可以使用Larq构建和训练自己的模型,或从Larq Zoo选择一个预训练模型。
转换Larq模型

LCE基于TensorFlow Lite构建,使用TensorFlow Lite的FlatBuffer格式来转换和序列化Larq模型以进行推理。我们提供了一个LCE转换器,具有额外的优化步骤,以提高Larq模型在支持的目标平台上的执行速度。
构建LCE

LCE文档提供了Android和64位ARM基板(如树莓派)的构建说明。请按照提供的说明创建本地LCE构建或为其中一个支持的目标进行交叉编译。
运行推理

LCE使用TensorFlow Lite解释器来执行推理。除了已有的TensorFlow Lite操作符外,优化的LCE操作符也注册到解释器中,以执行模型中的Larq特定子图。一个示例,用于为您自己的应用创建和构建兼容LCE的TensorFlow Lite解释器,可在此处找到。