#PyTorch

Lightning Flash提供多任务和多数据领域的AI解决方案，用户只需三步即可完成数据加载、模型配置和微调。项目支持多种预训练模型和优化策略，简化深度学习工作流程，适用于各种数据域和任务类型。其功能包括模型预测、训练策略、优化器和调度器选择，以及自定义数据变换。Flash旨在让用户无需自行开发复杂的研究框架，即可在生产环境中应用AI模型。

该扩展库为PyTorch提供了高效的稀疏更新和分段操作，包含scatter、segment_coo和segment_csr，支持sum、mean、min和max等归约方式。操作可适用于不同数据类型，并支持CPU和GPU。复合功能包括scatter_std、scatter_logsumexp、scatter_softmax和scatter_log_softmax。安装过程简单，适用于各大操作系统和PyTorch/CUDA组合。

Det3D是一款基于PyTorch的3D目标检测工具箱，支持多个数据集如KITTI、nuScenes、Lyft，并实现了多种3D目标检测算法如PointPillars、SECOND、PIXOR等。其特点包括高性能、支持分布式训练和同步批归一化，以及灵活的模型配置和可视化工具。Det3D适合自动驾驶、机器人和增强现实等领域的研究人员和开发者。

CUT项目提供了一种基于PyTorch的无监督图像间转换方法，采用局部对比学习和对抗学习技术。该方法较CycleGAN具备更快的训练速度和更低的内存占用，并且无需手工设计损失函数和反向网络，适合单图像训练。支持Linux或macOS系统及Python 3环境，适合在NVIDIA GPU上运行，整个训练和测试流程简单易操作。该项目由UC Berkeley和Adobe Research团队开发，并在ECCV 2020会议中展示。

TorchRec是一个专为大规模推荐系统设计的PyTorch库，提供稀疏性和并行性解决方案。它支持多种嵌入表分片策略，并能自动优化分片计划。通过流水线训练和优化内核，提高模型性能。还支持量化训练和推理，包含多个验证的模型架构和数据集示例，适用于需要高性能和扩展性的推荐系统项目。

IQA-PyTorch是一款基于纯Python和PyTorch的图像质量评估工具箱，支持多种主流全参考和无参考评估指标。通过GPU加速，评估速度优于Matlab实现，用户可通过命令行或代码进行图像质量评估。该工具箱还支持作为损失函数使用，提供便捷的基准数据集下载和详细文档，适用于评估各种场景。定期更新及多种预训练模型让它成为图像质量评估的理想选择。详情请查阅文档和示例代码。

本项目实现了EfficientNet、MixNet、MobileNetV3等多种高效模型，利用通用架构定义支持多种计算高效的神经网络。所有模型均基于MobileNet V1/V2块序列设计，并支持字符串化架构配置。请注意，该项目现已停止维护，推荐使用`timm`库获取更多功能和权重兼容的模型。

NVIDIA Kaolin Wisp是一个基于PyTorch的开源库，专为神经场研究而设计。它提供了数据集、图像I/O、网格处理和光线工具等实用功能，还包括可微渲染器和数据结构支持。Kaolin Wisp适用于NeRFs、NGLOD、instant-ngp和VQAD等最新项目，并提供调试可视化、交互式渲染和训练日志功能。最新版本wisp 1.0.3进行了配置系统的重大更新。

Torchdyn是一个专注于数值深度学习的PyTorch库，涵盖微分方程、积分变换和数值方法。它提供便捷的工具和层，用于构建神经微分方程和复合模型，并支持GPU加速和多种数值方法。该库与PyTorch和pytorch-lightning高度集成，使得用户能够快速上手，推进研究和应用。

TorchSSL项目已停止维护，建议参考其升级版USB，USB在训练时间上比TorchSSL提高87.5%，并且效果更出色。TorchSSL是一个基于PyTorch的半监督学习工具箱，支持9种流行算法和5个数据集，致力于实现公平的算法比较和研发。该工具箱新增了FreeMatch和SoftMatch算法，适合半监督学习研究人员使用，提供详细的实验日志和模型权重下载。

该项目提供了变分自编码器的参考实现，支持TensorFlow和PyTorch。项目中包含了逆自回归流变分家族的示例，通过变分推断对二值MNIST手写数字图像进行拟合。通过重要性采样估计边际似然，展示了高效的训练和验证结果。优化后的测试集边际对数似然达到了-95.33 nats。此外，该项目还提供了JAX实现，能够实现3倍于PyTorch的加速效果。

OpenFold是DeepMind AlphaFold 2的可训练PyTorch复现版本，提供高效的蛋白质结构预测解决方案。详细的安装、模型推理和训练指南可在文档主页找到。项目采用Apache Licence 2.0许可，使用的DeepMind预训练参数遵循CC BY 4.0许可。欢迎社区通过提交问题或拉请求进行贡献。引用OpenFold时应同时参考相关的AlphaFold研究成果。

Torch-TensorRT将TensorRT的强大功能引入PyTorch，用户仅需一行代码即可显著提升推理性能。该工具支持在多个平台上安装，包括PyPI和NVIDIA NGC PyTorch容器。通过torch.compile或导出式工作流，用户可以高效优化和部署模型。Torch-TensorRT依赖CUDA和TensorRT，与Linux和Windows等多种平台兼容。提供丰富资源，包括教程、工具和技术讲座，供用户学习使用。

本项目旨在从多视角图像优化3D模型的拓扑结构、材质和光照，基于论文《从图像中提取三角形3D模型、材质和光照》的方法。项目新增支持FlexiCubes技术，并简化代码，保持原有运行性能。需要Python 3.6+及CUDA 11.3+环境，主要适用于高端NVIDIA GPU。提供多种配置和示例，包括NeRF合成数据集及NeRD数据集，并有详细的安装和使用教程，适合从事3D深度学习研究的开发者和学者。

Hivemind是一个基于PyTorch的去中心化深度学习库，旨在通过多台分布在不同地点的计算机共同训练大型模型。主要特点包括去中心化的分布式训练、容错反向传播、参数去中心化平均以及支持任意大小的神经网络训练。Hivemind兼容Linux、macOS和Windows系统，可通过pip或源码进行安装，并提供PyTorch Lightning集成及详尽的使用文档和示例。

neuraloperator库在PyTorch中实现了神经算子的学习，包括傅里叶神经算子和张量化神经算子。神经算子能实现函数空间间的映射，并支持任何分辨率的数据。该库提供了简单的安装和快速上手指南，并集成了Weights and Biases。欢迎社区贡献和提交问题。

Theseus 是一个高效的通用库，专门用于在 PyTorch 中构建定制的非线性优化层，支持机器人和视觉问题中的端到端可微分架构。其特性包括二阶非线性优化器、线性求解器、向量化和 GPU 加速，有助于提高计算速度和内存使用效率。该库通过结合领域专用模型和神经网络模型，在保持计算梯度的同时优化 AI 模型，非常适合研究人员和开发者使用。

一种适用于PyTorch的工具，用于对张量的形状和数据类型进行类型注解，通过编程检查确保张量规范，减少错误。支持多种注解，具有高度的可扩展性，包括形状、数据类型和维度名称。与typeguard集成，可进行运行时类型检查，提升代码的可读性和健壮性。

fastMRI项目通过减少测量数据，加速MRI扫描，降低医疗成本，减轻患者压力。该项目由Facebook AI Research和NYU Langone Health合作，利用AI技术提升MRI速度，发布了包含膝盖和大脑MRI数据的开源数据集。项目提供数据加载、模型训练等相关工具和实现方法。

一个用于点云分析的深度学习框架，基于Pytorch Geometric和Facebook Hydra。该框架支持构建复杂模型并提供高层次API，支持PointNet、PointNet++、RSConv等常见模型，便捷实现分类、分割和检测任务。推荐使用Docker安装以确保兼容性。了解更多信息，请查阅文档和示例笔记本。

Torchattacks是一个专为PyTorch用户设计的对抗攻击库，提供类似PyTorch的接口和函数，便于生成对抗样本。支持包括FGSM、PGD、CW和AutoAttack在内的多种攻击方法，并附有详细的使用案例和安装指南，适用于机器学习和深度学习模型的安全性测试和对抗训练效果的提升。

pytorch-toolbelt是一款专为PyTorch设计的Python库，提供高效研发和Kaggle竞赛所需的工具集。其功能包括灵活的编码器-解码器架构、多种模块（如CoordConv、SCSE、Hypercolumn等）、GPU友好的测试时增强（TTA）、大图像推理及常用方法，支持多种损失函数，并与Catalyst库无缝集成。这些工具旨在简化模型构建、优化和推理过程。

该开源项目提供基于深度学习的预训练模型，能够提升乳腺癌筛查的准确性。项目包含仅图像和图像+热图两种模型，适用于标准视图的乳腺X光检查，支持GPU加速，使用Python和PyTorch实现，提供详细的示例数据和预测结果。

本书系统介绍强化学习，从基础理论到具体算法实现，包含基于TensorFlow和PyTorch的代码对照，实现经典和现代深度强化学习算法。提供完整数学推导和高质量代码，适合希望深入理解和应用强化学习的读者。

AWS Deep Learning Containers提供预配置的Docker镜像，支持TensorFlow、PyTorch和MXNet的模型训练与服务。集成了Nvidia CUDA和Intel MKL库，优化了GPU和CPU实例性能。这些容器已在Amazon SageMaker、EC2、ECS和EKS上进行了测试和验证，确保广泛应用和稳定性能。了解更多关于兼容镜像的信息，助力高效开发与部署AI模型。

ElasticDL是一个Kubernetes原生的深度学习框架，提供故障容错和弹性调度功能。通过Kubernetes的原生设计，ElasticDL能够实现故障恢复，并与其优先权抢占机制协同工作，提高集群整体利用率。框架支持TensorFlow和PyTorch，界面简洁，用户可通过命令行进行分布式训练。无论在本地、内部集群还是公有云，ElasticDL都能快速启动深度学习任务。

该库在Python中提供了高效读取和写入TFRecord文件的方法，并为PyTorch提供了可迭代的数据集读取器。支持无压缩和gzip压缩的TFRecord文件，通过创建索引文件可以避免多线程重复记录。用户还能使用transform函数进行特征后处理，如解码图像和归一化颜色范围。该库简化了多文件读取和顺序数据处理流程。

BladeDISC是一款用于机器学习工作负载的动态形态编译器，支持TensorFlow和PyTorch在GPGPU和CPU上的性能优化。它的架构支持动态形态工作负载，并在静态和动态形态场景中表现出色。BladeDISC提供灵活的部署解决方案，包括插件模式和独立模式。该项目基于MLIR构建，并与mlir-hlo项目密切合作。访问官方网站获取更多信息和文档资料。

torchaudio是为PyTorch设计的音频处理库，提供GPU加速和自动微分，支持加载和保存多种音频格式（如wav、mp3、ogg、flac等），并提供常见数据集的数据加载器及音频转换功能（如频谱图、Mel频谱图）。该库还提供兼容其他库的接口，适用于音频和语音处理方面的应用。

Transfer Learning Library (TLlib) 是一个开源的迁移学习库，基于PyTorch设计，具备高性能和易用性。该库支持多种方法，如域对齐、域转换和半监督学习，适用于分类、回归、目标检测、分割和关键点检测等任务。提供丰富的示例代码和详细文档，并支持pip安装。这是研发新算法或应用现有算法的理想工具，适用于研究和工程实践。

FastDiff项目实现了一种高效生成高保真语音的条件扩散模型。该项目在GitHub上提供了开源实现和预训练模型，支持包括LJSpeech、LibriTTS和VCTK在内的多种数据集。适用于语音合成和神经语音编解码等任务，并支持多GPU并行训练。项目还提供了详细的推理和训练指南，以及预处理工具和训练配置示例。FastDiff代码参考了NATSpeech和Tacotron2等项目，广泛适用于研究和实际应用。

AI Model Efficiency Toolkit (AIMET) 提供先进的模型量化和压缩技术，专注于优化已训练的神经网络模型。其主要功能包括跨层均衡、偏差校正、自适应舍入和量化感知训练，显著提升模型运行性能，降低计算和内存要求，并保持任务精度。AIMET 兼容 PyTorch、TensorFlow 和 ONNX 模型，通过 AIMET Model Zoo 提供优化的8位推理神经网络模型。同时，AIMET 支持空间SVD和通道剪枝等压缩技术，并提供可视化工具检查模型量化和压缩效果。

这个开源项目提供了一种无需对比学习和负样本分配的自监督学习方法，其性能超过了SimCLR。它支持轻松集成任何基于图像的神经网络，并利用未标记数据提升模型性能。该项目还支持批量规范化和组规范化替代方案，适用于定制化和分布式训练。

2023秋季深度学习课程，涵盖讲座和实践材料，可在本地或Google Colab完成作业。通过Telegram讨论问题，学习课程包括深度学习基础、技巧及卷积神经网络等，由资深导师提供材料，持续改进。

此项目实现了在增量学习场景中的PyTorch深度神经网络实验，支持学术设置下的分类问题，且可进行更加灵活的无任务增量学习实验。项目提供了演示脚本和详细的安装指导，适合多种经典方法的性能对比和自定义实验。

该项目提供了一系列神经网络课程视频和实践代码，涵盖从基础概念到GPT模型构建的全过程。课程内容包括反向传播、语言建模、多层感知器和批量归一化等主题，每个讲座配有Jupyter笔记本和练习。适合具备Python基础的开发者深入学习神经网络和深度学习技术。