Yoha项目介绍
Yoha是一个实用的手部追踪引擎,旨在为各种应用场景提供versatile的手部追踪解决方案。该项目的名称"Yoha"是"Your Hand Tracking"的缩写,意为"你的手部追踪"。
项目概述
Yoha项目的主要目标是为需要手部追踪功能的应用提供价值。虽然最终目标是支持任何手部姿势的通用手部追踪引擎,但Yoha的发展主要围绕用户和开发者认为有用的特定手部姿势展开。通过检测这些姿势,Yoha使得开发者能够构建具有有意义交互的应用程序。
技术特点
Yoha是从零开始构建的,使用了自定义的神经网络和训练数据集。目前,它在浏览器中的推理backbone是TensorFlow.js。Yoha具有以下主要特性:
- 检测21个2D关键点坐标(单手)
- 手部存在检测
- 手部方向(左手/右手)检测
- 内置姿势检测
目前支持的手部姿势包括:
- 捏合(食指和拇指接触)
- 握拳
性能表现
Yoha在设计时就考虑到了性能因素。它能够在大多数笔记本电脑和台式设备上提供实时的用户体验。然而,在移动设备上的性能还不够理想,但随着TensorFlow.js等推理框架的进一步发展,这一情况有望得到改善。
语言支持
目前,Yoha通过JavaScript为Web平台提供支持。未来将添加更多语言支持。
使用和安装
开发者可以通过npm安装Yoha:
npm install @handtracking.io/yoha
安装时需要注意以下几点:
- 需要从
node_modules/@handtracking.io/yoha
提供文件服务,因为库需要从这里下载模型文件。 - 为了访问网络摄像头,页面需要通过https提供服务。
- 建议使用跨源隔离,因为它在某些情况下可以提高引擎的性能。
演示和示例
Yoha项目提供了一个绘图演示,开发者可以通过在线版本或本地运行来体验。此外,还有一个最小化示例,展示了Yoha的基本用法。
项目状态
需要注意的是,Yoha目前处于beta阶段,并且当前处于未维护状态。尽管如此,它仍然是一个强大的手部追踪解决方案,为开发者提供了丰富的功能和可能性。