#深度学习框架

Caffe是由伯克利AI研究中心和社区贡献者开发的深度学习框架，强调高效表达、速度和模块化。用户可以通过项目网站获取详细信息，包括DIY深度学习教程、文档、参考模型和社区模型库。Caffe提供多种自定义版本，例如优化CPU和多节点支持的Intel Caffe、适用于AMD和Intel设备的OpenCL Caffe，以及Windows Caffe。社区用户可通过Gitter聊天和Google论坛进行交流，提交问题和建议。项目遵循BSD 2-Clause许可证，鼓励在研究中引用。

Keras 3 提供高效的模型开发，支持计算机视觉、自然语言处理等任务。选择最快的后端（如JAX），性能提升高达350%。无缝扩展，从本地到大规模集群，适合企业和初创团队。安装简单，支持GPU，兼容tf.keras代码，避免框架锁定。

MNN是一个高效轻量的深度学习框架，支持设备上的推理和训练。已被阿里巴巴30多个应用集成，覆盖直播、短视频、搜索推荐等70多种场景。MNN适用于嵌入式设备，支持TensorFlow、Caffe、ONNX等多种模型格式，并优化了ARM和x64 CPU及多种GPU的计算性能。通过MNN Workbench，用户可以下载预训练模型、进行可视化训练并一键部署到设备上。

Triton Inference Server是一款开源推理服务软件，支持TensorRT、TensorFlow、PyTorch等多种深度学习和机器学习框架。它优化了云端、数据中心、边缘和嵌入式设备的推理性能，适用于NVIDIA GPU、x86和ARM CPU，以及AWS Inferentia。主要功能包括动态批处理、模型流水线、HTTP/REST和gRPC协议支持等。通过Triton，用户可以轻松部署和优化AI模型，提升推理效率。

Caffe2是一个以表达力、速度和模块化为设计理念的轻量级、模块化和可扩展的深度学习框架。欲了解更多信息，请访问caffe2.ai。

OneFlow是一款深度学习框架，提供类似PyTorch的API，支持n维并行执行的全局张量以及图编译器用于加速和部署模型。最新版本1.0.0已发布，兼容Linux和多个Python版本。用户可以通过Docker或Pip轻松安装，并利用丰富的文档和模型库快速上手，适合大型变压器模型的并行训练和计算机视觉任务。

MegEngine是一个高效、可扩展且易于使用的深度学习框架，具有统一的训练和推理框架、低硬件要求和跨平台高效推理的三大关键特性。支持x86、Arm、CUDA、RoCM等多种平台，兼容Linux、Windows、iOS、Android等系统。通过DTR算法和Pushdown内存规划器，大幅降低GPU内存使用。适用于模型开发到部署的各个环节，致力于构建开放友好的AI社区。

MONAI是一个基于PyTorch的开源平台，专注于医疗影像的深度学习。它提供灵活的数据预处理、易于集成的API、领域特定的网络和评估指标，并支持多GPU和多节点数据并行。MONAI旨在为学术、工业和临床研究者提供优化和标准化的模型创建和评估工具，促进跨领域合作。

Hbox是一个高效的调度平台，结合了大数据和人工智能技术。支持多种机器学习和深度学习框架，如TensorFlow、MXNet、PyTorch等，并运行在Hadoop Yarn上。平台支持GPU资源调度、Docker容器化和RESTful API接口管理，具备良好的扩展性和兼容性。Hbox还提供统一的数据管理和可视化界面，适用于分布式计算和模型训练。

neon是Intel推出的深度学习框架，旨在实现最佳性能，兼容多种硬件。提供全面的教程和iPython笔记本，支持卷积层、RNN、LSTM、GRU和BatchNorm等常用层。预训练模型库和示例脚本涵盖VGG、强化学习、深度残差网络等。neon v2.0.0+优化了CPU性能，集成Intel Math Kernel Library，用户可快速安装并部署在CPU、GPU或Nervana硬件上。

本页面介绍了深度学习基础架构及其工程应用，包括编程语言、算法训练与推理部署、AI编译器加速和硬件工程。页面提供了Deep Learning、HPC高性能计算等学习资源和工具链接，并涵盖Docker、K8S、Protobuf与gRPC等工程化解决方案。还提供相关教程与代码示例，适合深度学习和高性能计算领域的开发者和研究人员。

CLUE基准提供全面的中文语言理解数据集、预训练模型、语料库和定期更新的排行榜。涵盖多种任务和难度，支持PaddlePaddle等深度学习框架。通过测试和对比不同模型的表现，推动中文自然语言处理技术的发展。

Jittor是一个基于实时（JIT）编译和元操作符的高性能深度学习框架。它支持Python前端，CUDA和C++后端，能够生成针对不同模型的高效代码。Jittor提供了丰富的模型库，涵盖图像识别、检测、分割、生成、可微渲染、几何学习和强化学习等领域。安装方式多样，环境配置简便，并且包含详尽的教程和文档，帮助用户快速入门。

OGB项目集成了图机器学习所需的基准数据集、数据加载器和标准化评估工具，兼容PyTorch Geometric和DGL等主流深度学习框架。支持处理节点、链接和图级别的预测任务，数据集广泛涵盖科学、社交网络和异构知识图等领域，并适应从单GPU到多GPU的处理需求。OGB为研究人员提供了简化数据下载、标准化拆分和性能评估的便利工具。

EFG是一个高效、灵活且通用的深度学习框架，采用最小化设计。该框架支持2D和3D目标检测、全景分割等多种计算机视觉任务，并在Waymo和nuScenes等数据集上展现优异性能。EFG集成了多个最新研究成果，如TrajectoryFormer和ConQueR，为3D目标检测和跟踪领域提供创新解决方案。研究人员可利用EFG的项目模板探索各种研究主题。

Neural Compressor是一款开源深度学习模型压缩工具库，支持TensorFlow、PyTorch和ONNX Runtime等主流框架。它提供量化、剪枝、知识蒸馏等多种压缩技术，适用于Intel等多种硬件平台。该工具支持大语言模型优化，并与主流云服务和AI生态系统集成。其自动化的精度感知量化策略有助于平衡模型性能和精度。

DeeperSpeed是DeepSpeed库的分支，专为EleutherAI的GPT-NeoX项目优化。该项目提供两个版本：1.0版保留了训练GPT-NeoX-20B和Pythia Suite所用的稳定版本，2.0版则基于最新DeepSpeed构建并持续更新。DeeperSpeed通过优化训练流程，提高了大型语言模型的开发效率。

KTransformers是一个灵活的Python框架，通过高级内核优化和并行策略增强Transformers性能。框架支持单行代码注入优化模块，提供Transformers兼容接口、OpenAI和Ollama标准RESTful API及简化的ChatGPT风格Web UI。专注本地部署和异构计算优化，KTransformers集成Llamafile和Marlin内核，为LLM推理优化实验提供灵活平台。

tinygrad是一个轻量级深度学习框架，定位于PyTorch和micrograd之间。其极简设计使其成为最易添加新加速器的框架之一，支持推理和训练功能。该框架能够运行LLaMA和Stable Diffusion等复杂模型，并具有延迟计算等特性。tinygrad支持GPU、CUDA、METAL等多种加速器，且易于扩展。目前处于alpha阶段，但发展迅速，有望在未来推出专用芯片。

DLPack是一种开放的内存张量结构，用于深度学习框架间的张量共享。它简化了框架间的运算符共享，便于封装供应商级运算符实现，支持快速切换后端实现。作为跨框架复用的桥梁，DLPack不直接实现张量和操作，而是促进深度学习生态系统的协作，为用户提供更多运算符选择和框架混合使用的可能性。

MindCV是一个开源计算机视觉框架，基于MindSpore构建。它集成了经典和最新的视觉模型，并提供预训练权重。通过模块化设计，支持定制化的数据处理、模型构建和训练流程。该框架适用于迁移学习和自定义CV任务开发，可在多种硬件平台上运行。MindCV注重效率与灵活性的平衡，同时提供了详细的教程和示例，方便开发者快速入门和应用。

GaNDLF是一个通用深度学习框架，支持多种模型架构、数据维度和医学影像分析任务。框架内置嵌套交叉验证、数据增强和混合精度训练功能，适用于放射学和组织病理学图像处理。GaNDLF简化了深度学习开发流程，提高了模型可重现性和可解释性，使非专业人士也能轻松使用。

HybridBackend是一个为异构集群设计的高性能推荐系统训练框架。它优化了分类数据加载、GPU嵌入层处理和大规模训练通信，提高了wide-and-deep模型的训练效率。该框架兼容现有AI工作流，提供多种安装选项和完善的文档。HybridBackend采用开源Apache 2.0许可证，支持社区贡献。

PyTorch Connectomics是一个面向神经科学领域的开源深度学习框架，专门用于处理电子显微镜采集的大脑图像数据。该框架支持连接组学中的自动和半自动语义及实例分割，提供多任务学习、主动学习和半监督学习功能。它采用分布式和混合精度优化技术，能高效处理大规模数据集。框架包含多种编码器-解码器架构，如定制3D UNet和特征金字塔网络模型，并提供全面的体积数据增强功能。由哈佛大学视觉计算组维护，PyTorch Connectomics致力于加速大脑神经连接图谱的重建过程。

XNNPACK是一个用于加速高级机器学习框架的神经网络推理引擎。它支持ARM、x86、WebAssembly和RISC-V等多种平台，提供低级性能原语，优化TensorFlow Lite、PyTorch等框架的运行效率。XNNPACK实现了丰富的神经网络操作符，在移动设备和嵌入式系统上表现出色，能高效运行各代MobileNet模型。在Pixel 3a上，XNNPACK能在44毫秒内完成FP32 MobileNet v3 Large的单线程推理，展现了其卓越的性能。

GeoTorchAI是基于PyTorch和Apache Sedona的空间时序深度学习框架，专为遥感影像和时空数据分析设计。该框架提供数据集、模型、转换和预处理模块，支持栅格和网格数据处理。它可应用于遥感影像分类、分割，以及交通流量、天气预报等时空数据预测任务。GeoTorchAI通过pip安装，并提供示例代码，方便研究人员和开发者快速上手使用。

LBANN是一个开源的高性能深度学习训练框架，专注于多层次并行优化。它结合模型并行、数据并行和集成训练方法，高效处理大规模神经网络和海量数据。LBANN充分利用先进硬件资源，支持多种训练算法，包括监督、无监督、自监督和对抗性训练。该框架适用于需要高度可扩展性的深度学习研究和应用。

TIM-VX是一个开源的神经网络部署框架，支持150多种算子和多种硬件平台。它具有简化的C++ API、动态图构建和形状推断功能，可作为多种深度学习框架的后端。TIM-VX简化了AI应用的开发和部署流程，适用于Android NN、TensorFlow Lite等多种环境。

DeepRec是一个基于TensorFlow的推荐系统深度学习框架。它支持万亿级样本和参数的分布式训练，提供嵌入变量、优化器等关键功能。该框架在CPU和GPU平台上进行了性能优化，包括运行时、算子和图级优化。DeepRec还支持增量检查点、分布式服务和在线学习等部署功能，为大规模推荐模型提供全面解决方案。

该项目提供多平台兼容的GGUF格式模型文件，包括对GGML的量化替代方案，支持多种比特量化，适用于Windows、Linux和macOS平台的模型推理和GPU加速。用户可以选择合适的量化参数文件，并通过多种工具和命令行进行下载和运行，提升模型推理性能。

gpt2-lora-random项目利用PEFT框架实现GPT2模型的LoRA微调。通过Low-Rank Adaptation技术，该项目降低了模型训练的资源需求和参数量。它为开发者提供了一个用于自然语言处理任务优化的灵活框架。项目文档涵盖了模型训练流程和环境影响评估指南，适合研究人员和工程师使用。