#边缘设备

ExecuTorch 提供端到端解决方案，实现移动和边缘设备上的推理能力，涵盖穿戴设备、嵌入式设备和微控制器。作为 PyTorch Edge 生态系统的一部分，ExecuTorch 通过轻量级运行时，利用硬件能力（如 CPU、NPU 和 DSP），高效地将 PyTorch 模型部署到多种平台。其主要优势包括：广泛的兼容性、开发效率和出色的用户体验。欲了解更多技术细节和教程，请访问文档网站获取最新版本。

LitePose是一种针对边缘设备的高效单分支架构，专用于实时多人姿态估计。通过融合解卷积头和大卷积核，该模型显著提升了性能。在移动平台上，LitePose将延迟降低5倍，同时保持估计精度。项目开源了预训练模型、训练脚本和评估工具，支持COCO和CrowdPose数据集。

AWQ是一种高效的大语言模型低比特权重量化技术，支持INT3/4量化，适用于指令微调和多模态模型。它提供预计算模型库、内存高效的4位线性层和快速推理CUDA内核。AWQ使TinyChat可在边缘设备上实现大模型高效本地推理。该技术已被Google、Amazon等采用，并获MLSys 2024最佳论文奖。

NEXA AI开发的本地化AI模型Octopus系列,可在多种设备上离线运行,无需订阅。这些模型具备自然语言理解、工具调用等能力,可执行多样化任务。相比云端AI,Octopus模型在速度、成本和准确度上均有优势,同时保障数据隐私。该技术适用于需要高性能、低延迟和数据安全的AI应用场景。

moondream2是一款为边缘设备设计的小型视觉语言模型。该模型在VQAv2、GQA、TextVQA等多项基准测试中表现优异，支持图像编码和问答功能。开发者可通过pip轻松安装并集成到Python项目中。moondream2定期更新，同时提供版本固定选项，以满足不同的应用需求。