react-native-fast-tflite

项目介绍：react-native-fast-tflite

react-native-fast-tflite 是一个为 React Native 开发的高性能 TensorFlow Lite 库。该库旨在为开发者提供快速高效的机器学习模型推理能力，以下是其主要特性：

特性

• 🔥 JSI 驱动：利用 JavaScript Interface (JSI) 提升性能。
• 💨 零拷贝 ArrayBuffers：通过零拷贝机制，提升数据传输速度。
• 🔧 低级 C/C++ API：使用 TensorFlow Lite 的核心 API，直接进行内存访问。
• 🔄 动态模型切换：支持在运行时替换 TensorFlow 模型。
• 🖥️ GPU 加速：支持使用诸如 CoreML、Metal 及 OpenGL 等 GPU 加速器。
• 📸 便捷的 VisionCamera 集成：与 VisionCamera 无缝集成，增强视觉处理能力。

安装步骤

1. 添加 npm 包：

   yarn add react-native-fast-tflite
   

2. 修改 metro.config.js，将 tflite 添加为支持的资源扩展：

   module.exports = {
       resolver: {
           assetExts: ['tflite', // ...其他资源
       }
   }
   

   这样，您就能在不重建应用的情况下，随时替换 .tflite 文件。
3. （可选）如需启用 GPU 委托，请查看下文的“使用 GPU 委托”部分。
4. 运行您的应用：

   yarn android
   # 或者
   npx pod-install && yarn ios
   

使用方法

1. 找到需要使用的 TensorFlow Lite (.tflite) 模型，您可以在 tfhub.dev 上找到大量公共模型。
2. 将该模型拖入 React Native 应用的资源文件夹中（如 src/assets/my-model.tflite）。
3. 加载模型：
   • 选项 A：独立函数加载

   const model = await loadTensorflowModel(require('assets/my-model.tflite'))
   

   • 选项 B：在函数组件中使用 Hook 加载

   const plugin = useTensorflowModel(require('assets/my-model.tflite'))
   

4. 调用模型：

   const inputData = ...
   const outputData = await model.run(inputData)
   console.log(outputData)
   

模型加载

模型可以通过 require(..) 从 React Native 包中加载，也可以从任意 URI/URL（如 http://.. 或 file://..）加载：

// 从 React Native 包中加载
loadTensorflowModel(require('assets/my-model.tflite'))
// 从本地文件系统加载
loadTensorflowModel({ url: 'file:///var/mobile/.../my-model.tflite' })
// 从远程 URL 加载
loadTensorflowModel({ url: 'https://tfhub.dev/google/lite-model/object_detection_v1.tflite' })

加载过程是异步的，因为需要分配 Buffers。在加载模型时务必检查潜在的错误。

输入和输出数据

TensorFlow 使用 tensors 作为输入和输出格式。由于 TensorFlow Lite 针对固定数组大小的字节缓冲区进行了优化，因此需要自行解释原始数据。

要检查 TensorFlow Lite 模型上的输入和输出 tensors，可以在 Netron 中打开模型。比如，在 tfhub.dev 上找到的 object_detection_mobile_object_localizer_v1_1_default_1.tflite 模型有 1 个输入张量 和 4 个输出张量。

使用（VisionCamera）

如果使用 VisionCamera 的帧处理器来运行该模型，需要将帧转化为 192 x 192 x 3 的字节数组。可以使用 vision-camera-resize-plugin 进行转换。具体实现代码在文档中有详细示例。

使用 GPU 委托

利用 GPU 委托可以加快计算速度。可以启用不同的 GPU 委托，如：

CoreML（iOS）

要在 iOS 上启用 CoreML 委托，必须在项目构建中包含它。在 Expo 和直接使用的 React Native 项目中有不同的启用方法，具体参考下文内容。

Android GPU/NNAPI（Android）

在 Android 上启用 GPU 或 NNAPI 委托，可能需要在 AndroidManifest.xml 中包含 OpenCL 库。

<uses-native-library android:name="libOpenCL.so" android:required="false" />

具体使用和配置方法请参考文档提供的示例代码和注意事项。

社区交流

加入 Margelo 社区 Discord，以交流关于 react-native-fast-tflite 或其他 Margelo 库的问题和经验。

贡献

如果希望为项目贡献力量，可以克隆仓库，根据开发指南进行设置和开发。

开源协议

该项目基于 MIT 开源协议。