#高性能
xFasterTransformer:高性能大语言模型推理引擎 - 学习资料与资源汇总
whisper.cpp学习资料汇总-OpenAI Whisper模型的高性能C/C++推理实现
MNN
MNN是一个高效轻量的深度学习框架，支持设备上的推理和训练。已被阿里巴巴30多个应用集成，覆盖直播、短视频、搜索推荐等70多种场景。MNN适用于嵌入式设备，支持TensorFlow、Caffe、ONNX等多种模型格式，并优化了ARM和x64 CPU及多种GPU的计算性能。通过MNN Workbench，用户可以下载预训练模型、进行可视化训练并一键部署到设备上。
HyperLPR
HyperLPR3是一个高性能车牌识别框架，支持Python、Windows、Mac、Linux和树莓派等平台。其识别速度快，准确率高，适用于多种场景。项目提供详细的安装、测试指南和多种API接口，方便开发者快速集成和使用。
caffe2
Caffe2是一个以表达力、速度和模块化为设计理念的轻量级、模块化和可扩展的深度学习框架。欲了解更多信息，请访问caffe2.ai。
MegEngine
MegEngine是一个高效、可扩展且易于使用的深度学习框架，具有统一的训练和推理框架、低硬件要求和跨平台高效推理的三大关键特性。支持x86、Arm、CUDA、RoCM等多种平台，兼容Linux、Windows、iOS、Android等系统。通过DTR算法和Pushdown内存规划器，大幅降低GPU内存使用。适用于模型开发到部署的各个环节，致力于构建开放友好的AI社区。
mosec
Mosec是一个高效且灵活的模型服务框架，旨在简化云端机器学习模型的部署和服务构建。其采用Rust和Python，实现高速性能与易用性，支持动态批处理和流水线处理，适用于CPU和GPU的混合工作负载。Mosec还提供模型预热、优雅关闭和Prometheus监控，便于通过Kubernetes等系统进行管理。
xFasterTransformer
xFasterTransformer是一个为X86平台优化的大规模语言模型（LLM）推理解决方案，支持多插槽和节点的分布式运行，适用于大型模型推理。它提供C++和Python API，支持例如ChatGLM、Llama、Baichuan等流行的LLM模型，并可通过PyPI、Docker或从源代码进行安装。项目附带详细文档、API使用示例、基准测试代码和Web演示，确保用户能充分利用其高性能和高扩展性。
whisper.cpp
whisper.cpp是基于OpenAI Whisper的C/C++自动语音识别（ASR）模型实施，针对Apple Silicon经过优化，并支持多平台部署。该项目以极低的内存消耗和CPU/GPU推理能力，覆盖Mac OS、iOS、Android等主流平台，提供灵活的API与多样的定制模型，使开发者能够轻松地融合语音功能。
feishu-openai
集成GPT-4、DALL-E、Whisper等AI技术，飞书OpenAI提供多元化办公解决方案与安全部署选项，适合各规模企业。了解更多升级商业共创版的优势，助力企业步入智能办公新纪元。
gpupixel
GPUPixel是一个实时高性能图像和视频滤镜库，基于OpenGL/ES开发，支持iOS、Android、Mac、Windows和Linux平台。采用C++11编写，内置商用级美颜滤镜。GPUPixel体积小巧，易于编译和集成，适合需要跨平台滤镜功能的开发者。