flutter-tflite

公告

更新：2023年4月26日

这个仓库是由TensorFlow管理的、由杰出的Amish Garg创建的tflite_flutter_plugin项目的分支。该项目的目标是支持我们的Flutter社区使用TensorFlow Lite框架创建基于机器学习的应用程序。

这个项目目前正在进行中，我们正在更新它以创建一个符合最新Flutter和TensorFlow Lite标准的工作插件。也就是说，我们非常欢迎拉取请求和贡献，这些将由TensorFlow或Flutter团队成员进行审核。我们感谢您在我们更新过程中的理解。

如果有任何问题，请随时通过在问题或讨论区发帖与我们联系。

谢谢！

PaulTR

概述

TensorFlow Lite Flutter插件为访问TensorFlow Lite解释器和执行推理提供了灵活快速的解决方案。其API与TFLite Java和Swift API相似。它直接绑定到TFLite C API，使其高效（低延迟）。在Android上提供NNAPI、GPU委托的加速支持，在iOS上提供Metal和CoreML委托的支持，在桌面平台上提供XNNPack委托的支持。

主要特点

支持Android和iOS多平台
灵活使用任何TFLite模型
使用多线程加速
结构与TensorFlow Lite Java API相似
推理速度接近使用Java API构建的原生Android应用
在不同的isolate中运行推理，防止UI线程出现卡顿

（重要）初始设置：将动态库添加到您的应用

Android 和 iOS

示例和支持现在支持动态库下载！iOS示例可以通过在各自的iOS文件夹中运行以下命令来执行：

flutter build ios 和 flutter install ios

Android可以通过以下命令运行：

flutter build android 和 flutter install android

注意：这需要设备的最低API级别为26。

注意：TFLite可能在iOS模拟器中无法工作。建议使用物理设备进行测试。

在创建发布存档（IPA）时，Xcode会剥离符号，因此flutter build ipa命令可能会抛出Failed to lookup symbol ... symbol not found错误。要解决这个问题：

在Xcode中，转到Target Runner > Build Settings > Strip Style
将All Symbols更改为Non-Global Symbols

MacOS

对于MacOS，需要手动将TensorFlow Lite动态库添加到项目中。为此，首先需要构建一个.dylib。您可以按照Bazel构建指南或CMake构建指南来构建库。

CMake注意事项：

在CMake中进行交叉编译可以使用： -DCMAKE_OSX_ARCHITECTURES=x86_64|arm64
使用lipo捆绑两种架构（arm / x86）： lipo -create arm64/libtensorflowlite_c.dylib x86/libtensorflowlite_c.dylib -output libtensorflowlite_c.dylib 作为第二步，需要将库添加到你的应用程序的XCode项目中。为此，你可以按照Flutter官方指南中添加动态库的步骤1和2进行操作。

Linux

对于Linux，需要手动将TensorFlow Lite动态库添加到项目中。首先需要构建一个.so文件。你可以按照Bazel构建指南或CMake构建指南来构建库文件。

第二步，需要将库文件添加到你的应用程序项目中。这是一个简单的过程：

在你的项目顶层创建一个名为blobs的文件夹
将libtensorflowlite_c-linux.so复制到这个文件夹中
在你的linux/CMakeLists.txt文件中添加以下行：

...

# 获取tf lite二进制文件
install(
  FILES ${PROJECT_BUILD_DIR}/../blobs/libtensorflowlite_c-linux.so
  DESTINATION ${INSTALL_BUNDLE_DATA_DIR}/../blobs/
)

Windows

对于Windows，需要手动将TensorFlow Lite动态库添加到项目中。首先需要构建一个.dll文件。你可以按照Bazel构建指南或CMake构建指南来构建库文件。

第二步，需要将库文件添加到你的应用程序项目中。这是一个简单的过程：

在你的项目顶层创建一个名为blobs的文件夹
将libtensorflowlite_c-win.dll复制到这个文件夹中
在你的windows/CMakeLists.txt文件中添加以下行：

...

# 获取tf lite二进制文件
install(
  FILES ${PROJECT_BUILD_DIR}/../blobs/libtensorflowlite_c-win.dll 
  DESTINATION ${INSTALL_BUNDLE_DATA_DIR}/../blobs/
)

TFLite Flutter辅助库

辅助库已被弃用。新的替代开发正在进行中，地址为https://github.com/google/flutter-mediapipe。当前计划是在2023年8月底前提供广泛支持。

导入

import 'package:tflite_flutter/tflite_flutter.dart';

使用说明

导入库

在pubspec.yaml文件的依赖部分，添加tflite_flutter: ^0.10.1（根据最新发布版本相应调整版本号）

创建解释器

从资源文件创建

将your_model.tflite放在assets目录下。确保在pubspec.yaml中包含了assets。
```
final interpreter = await Interpreter.fromAsset('assets/your_model.tflite');
```

参考文档以了解如何从缓冲区或文件创建解释器。

执行推理

单一输入和输出

使用void run(Object input, Object output)。

// 例如：如果输入张量形状为[1,5]，类型为float32
var input = [[1.23, 6.54, 7.81, 3.21, 2.22]];

// 如果输出张量形状为[1,2]，类型为float32
var output = List.filled(1*2, 0).reshape([1,2]);

// 推理
interpreter.run(input, output);

// 打印输出
print(output);

多个输入和输出

使用void runForMultipleInputs(List<Object> inputs, Map<int, Object> outputs)。

var input0 = [1.23];  
var input1 = [2.43];  

// 输入：List<Object>
var inputs = [input0, input1, input0, input1];  

var output0 = List<double>.filled(1, 0);  
var output1 = List<double>.filled(1, 0);

// 输出：Map<int, Object>
var outputs = {0: output0, 1: output1};

// 推理  
interpreter.runForMultipleInputs(inputs, outputs);

// 打印输出
print(outputs)

关闭解释器

interpreter.close();

使用`IsolateInterpreter`进行异步推理

要使用异步推理，首先创建你的Interpreter，然后用IsolateInterpreter包装它。

final interpreter = await Interpreter.fromAsset('assets/your_model.tflite');
final isolateInterpreter =
        await IsolateInterpreter.create(address: interpreter.address);

isolateInterpreter 的 run 和 runForMultipleInputs 方法都是异步的：

await isolateInterpreter.run(input, output);
await isolateInterpreter.runForMultipleInputs(inputs, outputs);

通过使用 IsolateInterpreter，推理过程在一个单独的 isolate 中运行。这确保了负责 UI 任务的主 isolate 不会被阻塞，保持响应性。

公告

概述