NatML：为Unity提供高性能跨平台机器学习解决方案

Ray

NatML:为Unity开发者打造的强大机器学习工具

NatML logo

在当今快速发展的游戏和应用开发领域,机器学习正在发挥越来越重要的作用。然而,对于许多Unity开发者来说,将机器学习集成到他们的项目中仍然是一项具有挑战性的任务。这就是NatML诞生的原因 - 为Unity开发者提供一个简单、高效、跨平台的机器学习解决方案。

NatML的核心优势

NatML的设计理念是"简单易用,性能卓越"。它具有以下几个突出特点:

通用机器学习支持：NatML支持多种主流的机器学习模型格式,包括CoreML (.mlmodel)、TensorFlow Lite (.tflite)和ONNX (.onnx)。开发者只需将这些模型文件拖放到Unity项目中即可使用,无需复杂的配置过程。
卓越的性能表现：通过利用各平台的硬件加速能力,如iOS和macOS上的CoreML、Android上的NNAPI以及Windows上的DirectML,NatML实现了远超Unity自带Barracuda引擎的运行速度。根据官方基准测试,NatML的性能可以达到Barracuda的数倍。
广泛的平台支持：NatML支持Android、iOS、macOS、WebGL和Windows等多个平台。这意味着开发者可以一次构建,然后无缝地部署到各种设备和平台上。
极其简单的使用方式：NatML通过"Predictor"(预测器)的概念,将复杂的机器学习模型封装成简单的类,这些类返回开发者熟悉的数据类型。开发者无需编写预处理脚本、处理着色器或者纠缠于张量运算,NatML会处理所有繁琐的细节。
丰富的模型生态：NatML维护着一个不断增长的预测器目录,开发者可以在NatML Hub上快速发现并部署到自己的应用中。
轻量级包体：NatML以自包含的方式分发,没有外部依赖。开发者只需导入包即可开始使用,无需额外的设置步骤。

快速上手NatML

要开始使用NatML,只需要简单几步:

在Unity项目的Packages/manifest.json文件中添加以下内容:

{
  "scopedRegistries": [
    {
      "name": "NatML",
      "url": "https://registry.npmjs.com",
      "scopes": ["ai.natml"]
    }
  ],
  "dependencies": {
    "ai.natml.natml": "1.1.16"
  }
}

如果你有CoreML、ONNX或TensorFlow Lite模型,只需将其拖放到项目中即可。
创建一个预测器并使用它:

// 创建MobileNet v2预测器
var predictor = await MobileNetv2Predictor.Create();

// 对图像进行预测
Texture2D image = ...;
var (label, score) = predictor.Predict(image);

NatML Hub: 发现和分享ML模型

NatML Hub

NatML不仅提供了强大的运行时环境,还通过NatML Hub构建了一个活跃的模型社区。在这里,开发者可以:

发现并下载各种预训练的ML预测器
上传自己的模型,选择公开或保持私有
与其他开发者分享和交流ML相关的经验

这种社区驱动的方法极大地扩展了NatML的应用范围,使得即使是机器学习新手也能快速找到并使用适合自己项目的模型。

实际应用案例

让我们通过一个简单的图像分类示例来展示NatML的强大功能:

using UnityEngine;
using NatML.Vision;

public class Classifier : MonoBehaviour {
    
    [Header(@"Prediction")]
    public Texture2D image;
    
    async void Start () {
        // 创建MobileNet预测器
        using var predictor = await MobileNetv2Predictor.Create();
        // 对图像进行分类
        var (label, confidence) = predictor.Predict(image);
        // 输出结果
        Debug.Log($"图像包含{label},置信度为{confidence}");     
    }
}

这短短几行代码就实现了一个完整的图像分类功能,展示了NatML的简洁与强大。