#PyTorch

该项目是一个开源的场景文本识别框架，通过四阶段的官方PyTorch实现，支持现有大多数STR模型。它允许在统一的数据集上，评估各个模块的性能表现，包括准确性、速度和内存需求，并已被多个国际竞赛验证。用户可使用预训练模型进行测试，或进行更深入研究。

Curated Transformers是一个为PyTorch设计的转换器库，提供最新的模型和可复用组件。支持最新的转换器模型，如Falcon、Llama和Dolly v2，具备类型注释和极少的依赖性，适合教育和生产环境。支持集成至spaCy 3.7，快速安装及支持高效的CUDA优化。

IPEX-LLM是专为Intel CPU和GPU设计的PyTorch库，能高效运行多种大型语言模型如LLaMA2和Mistral，确保极低延迟。支持最新技术如Microsoft的GraphRAG和多模态模型，及英特尔新型NPU。提供一体化易用性并针对多GPU优化，包括实时演示和详尽的性能基准。

本项目详尽介绍了基于CUDA的算法优化方法，涉及从基本元素操作到高级并行处理，包括多个CUDA示例和性能评测。此外，配合专业课程及学习笔记，适用于各层次对CUDA感兴趣的人士。项目还整合了多种教程和代码示例，助力快速学习和应用CUDA优化技术。

KAN-GPT在PyTorch平台上实现了结合Kolmogorov-Arnold网络的生成式预训练变换器，用于高效的语言模型建设。该项目支持灵活的训练选项和多种数据集，体现了其在自然语言处理领域的广泛应用和成熟技术。KAN-GPT帮助开发者在文本生成和语言建模方面取得突破，进一步提升AI语言技术。

torchchat可以通过Python和C/C++应用程序无缝运行大型语言模型(LLMs)，支持桌面、服务器以及iOS和Android设备。该项目特点包括PyTorch原生执行、高效运行、支持多种硬件和操作系统、多种数据类型和量化方案。其安装步骤简便，并提供多种运行模式，如命令行、浏览器界面和REST API，适用于各类开发环境。

OpenRL 是一款基于 PyTorch 的开源强化学习研究框架，支持单代理、多代理、离线强化学习、自我对弈及自然语言处理任务。框架提供统一接口、训练加速方法和多种深度学习模型支持，兼容 Gymnasium、MuJoCo、StarCraft II 等多种环境。同时，OpenRL 还支持用户自定义训练模型、奖励模型和环境配置，并提供中英文文档。

本文详述如何在普通硬件上优化Vicuna语言模型，包括环境配置、监督微调、合并PEFT适配器、训练奖励模型和PPO微调等步骤，适合中文技术人员使用。

MotionGPT是通过微调大型语言模型（LLMs）来实现通用运动生成的开源项目。项目提供详细的安装指南、预训练模型及数据集应用实例，支持高效的文本到动作转换及生成。用户可以轻松实现姿态可视化和SMPL网格渲染。项目页面详细介绍了多种使用场景，适用于各种运动生成需求。

Image GPT是一个基于生成像素预训练模型（Generative Pretraining from Pixels）的PyTorch实现，支持多种预训练模型和数据集。该项目允许下载预训练模型、量化图像、进行生成预训练和分类微调。它还具有BERT风格的预训练、支持加载OpenAI预训练模型等功能。目前，使用单个NVIDIA 2070 GPU可在Fashion-MNIST上实现高效训练，简化了多种图像数据集上的生成模型训练和应用流程。

该项目提供了一系列循序渐进的教程，指导从零开始构建常见的Transformer模型，如BERT、GPT、GPT2、BART和T5。教程不仅讲解基本架构的实现，还包括预训练和微调示例，并提供小型PyTorch库以便额外使用。项目依赖HuggingFace的tokenizers库进行子词标记，适用于不同规模数据集的训练需求，还涵盖了多工作节点的分布式训练示例，非常适合希望深入了解Transformer模型原理和应用的学习者。

该项目实现了OpenAI Transformer语言模型在PyTorch中的复现，提供了预训练权重加载脚本及模型类。采用固定权重衰减和调度学习率优化模型，支持对ROCStories Cloze任务进行微调，效果接近原始TensorFlow实现。适用于深度学习研究和语言模型的生成与分类任务。

实现可靠的PyTorch强化学习算法，方便研究和工业用户复制和优化新思路。支持自定义环境与策略，提供统一接口，适合项目开发和性能对比。涵盖A2C、PPO、DQN等算法，包含迁移指南和在线文档，适用于有强化学习基础的用户。

详细注释的Transformer实现，涵盖从头创建Transformer系列，包括注意力机制和整体Transformer的实现。提供双向注意力、因果注意力及因果交叉注意力的实现，以及GPT-2和BERT模型的单文件实现，兼容torch.compile(..., fullgraph=True)以提高性能。

Jamba是一个基于PyTorch的混合语言模型，结合了Transformer和Mamba架构。通过简单的pip命令（`pip install jamba`），用户可以迅速安装并使用该模型。Jamba支持多种深度学习配置，包括输入数据维度、模型层数、唯一标记数、隐藏状态维度、卷积层维度、注意力头数量和专家网络配置，适用于各种自然语言处理任务。

attorch是一个基于OpenAI Triton的PyTorch模块子集，提供易于修改的高效神经网络模块。支持自动混合精度、计算机视觉和自然语言处理相关层。

TorchText将于2024年4月发布其最终稳定版0.18。这一NLP工具包包括原始文本迭代器、基本NLP构建模块、文本处理转换、预训练模型和词汇类等功能。推荐使用Anaconda安装，支持多种Python版本。指南和文档包括SpaCy、Moses等可选依赖项。提供详细教程和示例帮助用户入门。

KerasNLP 是一个兼容 TensorFlow、JAX 和 PyTorch 的自然语言处理库，提供预训练模型和低级模块。基于 Keras 3，支持 GPU 和 TPU 的微调，并可跨框架训练和序列化。设置 KERAS_BACKEND 环境变量即可切换框架，安装方便，立即体验强大 NLP 功能。

Neural Network Compression Framework (NNCF) 提供一套后训练和训练时的优化算法，用于在 OpenVINO 中优化神经网络推理，保证最小的精度损失。NNCF 支持 PyTorch、TensorFlow 和 ONNX 等模型，并提供示例展示不同压缩算法的使用案例。NNCF 还支持自动化模型图转换、分布式训练和多种算法的无缝组合，支持将压缩后的 PyTorch 模型导出为 ONNX 检查点及将 TensorFlow 模型导出为 SavedModel 格式。

本页面介绍2023版深度学习实验课程，包括理论与实践内容。涵盖监督学习、多层感知器、优化、正则化、卷积神经网络、变压器、自编码器、生成对抗网络和大型语言模型等主题，并提供开发环境、Python、Numpy、PyTorch及Gradio的实践指南。所有文档和代码示例在GitHub上提供，帮助学习者掌握深度学习技术。

OpenDelta是一个高效的开源调优工具包，通过添加少量参数进行调整，可实现如前缀调优、适配器调优、Lora调优等多种方法。最新版本支持Python 3.8.13、PyTorch 1.12.1和transformers 4.22.2。

本项目提供了关于如何使用Transformers模型在自然语言处理任务中进行精细调优的详细教程，包括文本分类、情感分析、命名实体识别和摘要生成等案例。教程旨在帮助用户掌握应用最新NLP技术的技巧，并提供配套的Python代码示例和工具指南。

Transformers4Rec是一个结合Hugging Face Transformers框架的高效库，专注于自然语言处理和推荐系统的结合。通过支持多种输入特征和模块化设计，它提供了与PyTorch兼容的高灵活性架构。集成NVTabular和Triton Inference Server，实现了全GPU加速的管道，优化了序列和会话推荐效果。其在业内竞赛中的优异表现展示了其在会话推荐任务中的高准确性。

该项目基于PyTorch实现了BERT模型及其相关下游任务，详细解释了BERT模型和每个任务的原理。项目支持分类、翻译、成对句子分类、多项选择、问答和命名实体识别等任务，涵盖中文和英语的自然语言处理。此外，项目还含有丰富的数据集和预训练模型配置文件。

GenRL是一个基于PyTorch的强化学习库，提供可重现的算法实现和通用接口。它包含20多个从基础到高级的强化学习教程，并支持模块化和可扩展的Python编程。统一的训练和日志记录功能提高了代码复用性，同时自动超参数调整功能加速了基准测试。GenRL旨在支持新算法的实现，代码少于100行。适用于Python 3.6及以上版本，依赖于PyTorch和OpenAI Gym。

PyTorch实现的OpenAI Reptile算法，专注于监督学习，目前支持在Omniglot数据集上运行，具备K-shot N-way采样、训练监控和中断恢复功能。欢迎对项目的贡献和反馈，未来计划支持Mini-Imagenet数据集、提升Meta-batch大小、添加训练曲线和Shell脚本下载功能。

此资源库涵盖机器学习和深度学习的全面资源，包括优质课程、电子书和学术论文。通过Coursera、Stanford和Google等知名平台的课程，可深入学习基础和高级的机器学习、深度学习、自然语言处理和强化学习。同时，还提供《机器学习》和《深度学习》等电子书，便于自学和参考。适合想要提高机器学习技术水平的学生、研究人员和行业从业者。

提供一个兼容HuggingFace Transformers的附加库，整合超过10种Adapter方法和超过20种先进Transformer模型，简化训练和推理的编程工作量。支持高精度与量化训练、任务算术合并适配器以及多适配器组合等功能，适用于NLP任务的参数高效传输学习。

该项目实现了基于PyTorch的多任务深度神经网络（MT-DNN），主要用于自然语言理解。最新版本添加了语言模型预训练和微调的对抗性训练功能。用户可以使用pip安装或通过Docker快速启动，项目提供详细的训练和微调步骤，支持序列标注和问答任务。此外，项目包含模型嵌入提取和训练加速功能。目前由于政策变化，公共存储解决方案暂不提供。

该开源项目提供了一系列教程，使用PyTorch实现序列分类模型，主要用于从电影评论中预测情感。课程内容包括神经词包模型、递归神经网络（RNN）、卷积神经网络（CNN）和Transformer模型的理论与实践。此外，还讲解了如何使用torchtext库简化数据加载和预处理。如果有任何疑问或反馈，可以随时通过提交问题进行交流。

HanLP是一款面向生产环境的多语种自然语言处理工具，基于PyTorch和TensorFlow双引擎。支持130种语言和多种NLP任务，包括分词、词性标注、命名实体识别和依存句法分析等。HanLP的预训练模型持续更新，并提供RESTful API和native API，适用于敏捷开发和移动应用。

Flair 是一个强大的自然语言处理库，支持命名实体识别、情感分析、词性标注等多种功能，并且支持多种语言。通过简易接口，用户可以轻松使用和整合多种词和文档嵌入，基于 PyTorch 框架进行模型训练和实验。Flair 还对生物医学文本有特殊支持，并提供最新的命名实体识别模型，性能媲美甚至超过当前最优结果。用户可以在 Hugging Face 平台上访问并试用这些模型。

X2Paddle是一个将Caffe、TensorFlow、ONNX和PyTorch模型转换为飞桨框架的开源工具。它支持推理模型和PyTorch训练项目的快速迁移，并提供详细的API对比文档。通过简单的一键命令或API，模型转换变得轻松，显著节省迁移成本。适用于Python 3.5+及多种硬件设备，同时支持PaddleLite格式及VisualDL在线转换服务，充分发挥飞桨生态系统的优势。

TinyLLaVA Factory是一个开源的模块化代码库，专注于简化小规模多模态模型的开发和定制，使用PyTorch和HuggingFace实现。其设计旨在简化代码实现、提高扩展性和确保训练结果的可重复性。支持如OpenELM、TinyLlama、StableLM等语言模型和CLIP、SigLIP等视觉模型。通过TinyLLaVA Factory，可减少编码错误，快速定制多模态模型，提高性能，为研究和应用提供强大工具。

TonY框架支持在Apache Hadoop上运行深度学习任务，兼容TensorFlow、PyTorch、MXNet和Horovod。支持分布式或单节点训练，提供灵活可靠的机器学习任务执行方式，适用于Hadoop 2.6.0及以上版本，并支持GPU隔离。项目通过Gradle构建，可通过虚拟环境或Docker容器启动深度学习作业。详细配置和使用案例请参阅官方文档和示例。

该项目提供了PyTorch框架下的CycleGAN和pix2pix图像翻译实现，支持配对和无配对的图像翻译。最新版本引入img2img-turbo和StableDiffusion-Turbo模型，提高了训练和推理效率。项目页面包含详细的安装指南、训练和测试步骤，以及常见问题解答。适用于Linux和macOS系统，兼容最新的PyTorch版本，并提供Docker和Colab支持，便于快速上手。