#高性能
MNN
MNN是一个高效轻量的深度学习框架,支持设备上的推理和训练。已被阿里巴巴30多个应用集成,覆盖直播、短视频、搜索推荐等70多种场景。MNN适用于嵌入式设备,支持TensorFlow、Caffe、ONNX等多种模型格式,并优化了ARM和x64 CPU及多种GPU的计算性能。通过MNN Workbench,用户可以下载预训练模型、进行可视化训练并一键部署到设备上。
HyperLPR
HyperLPR3是一个高性能车牌识别框架,支持Python、Windows、Mac、Linux和树莓派等平台。其识别速度快,准确率高,适用于多种场景。项目提供详细的安装、测试指南和多种API接口,方便开发者快速集成和使用。
caffe2
Caffe2是一个以表达力、速度和模块化为设计理念的轻量级、模块化和可扩展的深度学习框架。欲了解更多信息,请访问caffe2.ai。
MegEngine
MegEngine是一个高效、可扩展且易于使用的深度学习框架,具有统一的训练和推理框架、低硬件要求和跨平台高效推理的三大关键特性。支持x86、Arm、CUDA、RoCM等多种平台,兼容Linux、Windows、iOS、Android等系统。通过DTR算法和Pushdown内存规划器,大幅降低GPU内存使用。适用于模型开发到部署的各个环节,致力于构建开放友好的AI社区。
mosec
Mosec是一个高效且灵活的模型服务框架,旨在简化云端机器学习模型的部署和服务构建。其采用Rust和Python,实现高速性能与易用性,支持动态批处理和流水线处理,适用于CPU和GPU的混合工作负载。Mosec还提供模型预热、优雅关闭和Prometheus监控,便于通过Kubernetes等系统进行管理。
xFasterTransformer
xFasterTransformer是一个为X86平台优化的大规模语言模型(LLM)推理解决方案,支持多插槽和节点的分布式运行,适用于大型模型推理。它提供C++和Python API,支持例如ChatGLM、Llama、Baichuan等流行的LLM模型,并可通过PyPI、Docker或从源代码进行安装。项目附带详细文档、API使用示例、基准测试代码和Web演示,确保用户能充分利用其高性能和高扩展性。
whisper.cpp
whisper.cpp是基于OpenAI Whisper的C/C++自动语音识别(ASR)模型实施,针对Apple Silicon经过优化,并支持多平台部署。该项目以极低的内存消耗和CPU/GPU推理能力,覆盖Mac OS、iOS、Android等主流平台,提供灵活的API与多样的定制模型,使开发者能够轻松地融合语音功能。
feishu-openai
集成GPT-4、DALL-E、Whisper等AI技术,飞书OpenAI提供多元化办公解决方案与安全部署选项,适合各规模企业。了解更多升级商业共创版的优势,助力企业步入智能办公新纪元。
gpupixel
GPUPixel是一个实时高性能图像和视频滤镜库,基于OpenGL/ES开发,支持iOS、Android、Mac、Windows和Linux平台。采用C++11编写,内置商用级美颜滤镜。GPUPixel体积小巧,易于编译和集成,适合需要跨平台滤镜功能的开发者。