Project Icon

libedgetpu

Coral设备边缘AI推理的高性能运行时库

libedgetpu是一个开源项目,为Coral设备提供用户空间运行时驱动。支持多平台构建和ARM架构交叉编译,优化Edge TPU性能实现高效边缘AI推理。提供Docker、Bazel和Makefile构建方式,适用于Linux、macOS和Windows等主流操作系统。使用USB加速器时需注意散热问题,建议在适宜温度下操作以确保安全。

kubeedge - 基于Kubernetes的边缘计算平台 实现云边应用与设备协同管理
GithubKubeEdgeKubernetes云边协同容器化开源项目边缘计算
KubeEdge是基于Kubernetes的开源边缘计算平台,将容器应用编排和设备管理扩展到边缘节点。它具有云边协作、边缘自治和轻量级代理等特点,支持使用Kubernetes API管理边缘应用和设备。KubeEdge包含云端和边缘组件,为云边网络、应用部署和数据同步提供基础设施,并支持MQTT协议实现边缘设备接入。该平台有助于在边缘高效处理数据,提升响应速度并保护数据隐私。
ai-edge-torch - PyTorch模型转TensorFlow Lite的开源解决方案
AI Edge TorchGithubPyTorchTensorFlow Lite开源项目模型转换移动设备部署
ai-edge-torch是一个开源Python库,用于将PyTorch模型转换为TensorFlow Lite格式。它支持在Android、iOS和IoT设备上本地运行模型,提供广泛的CPU支持和初步的GPU、NPU支持。该项目还包含生成式API,用于优化大型语言模型在设备端的性能。ai-edge-torch与PyTorch紧密集成,为边缘AI开发提供了实用的工具。
uTensor - 基于TensorFlow,专为Arm设备优化的轻量级机器学习推理框架
ArmGithubTensorFlowuTensor嵌入式系统开源项目机器学习
uTensor是一个基于TensorFlow,专为Arm设备优化的轻量级机器学习推理框架。其核心运行时库仅有约2KB大小,提供模块化架构、低功耗执行、便捷调试和高效错误处理等功能。通过重构代码和工具,uTensor提升了模型修改和扩展的易用性,并支持高性能操作符和内存管理方案,确保系统运行的安全性和可靠性。
rust - Rust语言TensorFlow绑定,支持多平台和GPU加速
GithubRustTensorFlow安装开源项目文档绑定
TensorFlow Rust提供符合Rust语言习惯的TensorFlow绑定,支持便捷下载或编译TensorFlow共享库和GPU加速。该项目仍在活跃开发,API尚未完全稳定。用户可以通过在Cargo.toml中添加依赖项并运行cargo build来构建,详见文档和示例代码。
ComputeLibrary - 优化Arm架构的开源机器学习函数库
ARM架构Compute LibraryGithub开源软件开源项目性能优化机器学习
ComputeLibrary是一个专为Arm架构优化的机器学习函数库,支持Cortex-A、Neoverse处理器和Mali GPU。它提供100多个低级机器学习函数,覆盖多种数据类型和卷积算法,并采用微架构优化、内核融合等先进技术。作为开源项目,ComputeLibrary具有高性能、高度可配置的特点,为Arm平台的机器学习应用开发提供了强大支持。
edgeyolo - 优化边缘设备性能的模型,支持ONNX和TensorRT导出
COCO2017EdgeYOLOGithubHuawei AscendNvidia Jetson AGX XavierTensorRT开源项目
EdgeYOLO为边缘设备优化,在Nvidia Jetson AGX Xavier上达34FPS,并通过RH loss提升小型和中型物体检测。支持COCO2017和VisDrone2019数据集,提供多种模型格式和部署代码,包括RKNN、MNN和TensorRT。项目定期更新,并集成了SAMLabeler Pro工具,支持多人远程标注。可快速上手和训练,适配不同设备和应用场景。
executorch - 移动和边缘设备上高效运行PyTorch模型的解决方案
ExecuTorchGithubPyTorch开源项目推理能力模型部署边缘设备
ExecuTorch 提供端到端解决方案,实现移动和边缘设备上的推理能力,涵盖穿戴设备、嵌入式设备和微控制器。作为 PyTorch Edge 生态系统的一部分,ExecuTorch 通过轻量级运行时,利用硬件能力(如 CPU、NPU 和 DSP),高效地将 PyTorch 模型部署到多种平台。其主要优势包括:广泛的兼容性、开发效率和出色的用户体验。欲了解更多技术细节和教程,请访问文档网站获取最新版本。
edgen - 本地运行的生成AI API服务,兼容OpenAI API
EdgenGenAIGithubOpenAI开源项目本地运行模型缓存
Edgen是一款本地运行的生成AI API服务器,兼容OpenAI API。支持文本生成、语音转文字等AI功能,可在Windows、Linux和MacOS平台上运行。通过本地推理保障数据隐私,减少对云计算的依赖。其模块化设计便于添加新模型,并能自动选择最佳运行时。Edgen还提供模型缓存功能,减少重复下载,无需Docker,采用Rust编写,为用户提供高效、可靠的AI解决方案。
mediapipe-rs - MediaPipe任务的Rust库 为WasmEdge WASI-NN提供支持
GithubMediaPipe-rsWasmEdge开源项目机器学习计算机视觉音频处理
mediapipe-rs是一个为WasmEdge WASI-NN设计的Rust库,实现MediaPipe任务。该库提供简单易用的API,支持多种视觉、音频和文本处理任务,包括对象检测、图像分类和手势识别等。它具有低开销和灵活性,支持TfLite模型,可在CPU、GPU和TPU上运行。mediapipe-rs为开发者提供了在WebAssembly环境中高效执行机器学习任务的解决方案。
WasmEdge - 轻量级高性能WebAssembly运行时,适用于现代Web应用、边缘计算与无服务器应用
CNCFGithubWasmEdgeWebAssembly云计算开源项目运行时
WasmEdge是一个轻量、高性能且可扩展的WebAssembly运行时,被认为是最快的Wasm虚拟机之一。作为CNCF的官方沙盒项目,WasmEdge应用于现代Web架构、边缘计算微服务、无服务器SaaS API、嵌入式功能、智能合约和智能设备。通过提供安全的执行沙箱和操作系统资源隔离,WasmEdge允许社区贡献的代码作为插件安全执行,使软件产品扩展与定制更加方便。
项目侧边栏1项目侧边栏2
推荐项目
Project Cover

豆包MarsCode

豆包 MarsCode 是一款革命性的编程助手,通过AI技术提供代码补全、单测生成、代码解释和智能问答等功能,支持100+编程语言,与主流编辑器无缝集成,显著提升开发效率和代码质量。

Project Cover

AI写歌

Suno AI是一个革命性的AI音乐创作平台,能在短短30秒内帮助用户创作出一首完整的歌曲。无论是寻找创作灵感还是需要快速制作音乐,Suno AI都是音乐爱好者和专业人士的理想选择。

Project Cover

有言AI

有言平台提供一站式AIGC视频创作解决方案,通过智能技术简化视频制作流程。无论是企业宣传还是个人分享,有言都能帮助用户快速、轻松地制作出专业级别的视频内容。

Project Cover

Kimi

Kimi AI助手提供多语言对话支持,能够阅读和理解用户上传的文件内容,解析网页信息,并结合搜索结果为用户提供详尽的答案。无论是日常咨询还是专业问题,Kimi都能以友好、专业的方式提供帮助。

Project Cover

阿里绘蛙

绘蛙是阿里巴巴集团推出的革命性AI电商营销平台。利用尖端人工智能技术,为商家提供一键生成商品图和营销文案的服务,显著提升内容创作效率和营销效果。适用于淘宝、天猫等电商平台,让商品第一时间被种草。

Project Cover

吐司

探索Tensor.Art平台的独特AI模型,免费访问各种图像生成与AI训练工具,从Stable Diffusion等基础模型开始,轻松实现创新图像生成。体验前沿的AI技术,推动个人和企业的创新发展。

Project Cover

SubCat字幕猫

SubCat字幕猫APP是一款创新的视频播放器,它将改变您观看视频的方式!SubCat结合了先进的人工智能技术,为您提供即时视频字幕翻译,无论是本地视频还是网络流媒体,让您轻松享受各种语言的内容。

Project Cover

美间AI

美间AI创意设计平台,利用前沿AI技术,为设计师和营销人员提供一站式设计解决方案。从智能海报到3D效果图,再到文案生成,美间让创意设计更简单、更高效。

Project Cover

AIWritePaper论文写作

AIWritePaper论文写作是一站式AI论文写作辅助工具,简化了选题、文献检索至论文撰写的整个过程。通过简单设定,平台可快速生成高质量论文大纲和全文,配合图表、参考文献等一应俱全,同时提供开题报告和答辩PPT等增值服务,保障数据安全,有效提升写作效率和论文质量。

投诉举报邮箱: service@vectorlightyear.com
@2024 懂AI·鲁ICP备2024100362号-6·鲁公网安备37021002001498号