Trax是一个由Google Brain团队维护的端到端深度学习库，专注于清晰代码和高速执行。它提供预训练的Transformer模型和丰富的API文档，支持用户创建和训练自定义模型，并与TensorFlow数据集无缝集成。Trax兼容CPUs、GPUs和TPUs，用户可以通过Python脚本、notebooks和命令行界面轻松使用。

AiLearning-Theory-Applying项目提供人工智能领域的全面学习资源，覆盖基础知识、机器学习、深度学习及自然语言处理。项目持续更新，附带详尽注释和数据集，便于理解与操作，助力初学者及研究人员迅速掌握AI理论及应用实践。

该项目汇总了掩码图像建模（MIM）及相关的自监督学习方法。涵盖了从2008年以来的主要自监督学习研究，并展示了其在自然语言处理和计算机视觉领域的发展历程和关键节点。所有内容按时间顺序排列并定期更新，包括相关论文、代码和框架的详细信息，旨在帮助研究者深入理解和应用MIM方法。欢迎贡献相关文献或修正建议。

此项目实现了多种Transformer架构，包括seq2seq、仅编码器、仅解码器和统一模型，旨在提高编程技能并提供深度学习参考。特色包括多种Attention模块、位置嵌入和采样方法，当前进展是实现DINO模型。项目受到多个开源项目的启发和支持。

Jamba是一个基于PyTorch的混合语言模型，结合了Transformer和Mamba架构。通过简单的pip命令（`pip install jamba`），用户可以迅速安装并使用该模型。Jamba支持多种深度学习配置，包括输入数据维度、模型层数、唯一标记数、隐藏状态维度、卷积层维度、注意力头数量和专家网络配置，适用于各种自然语言处理任务。

Trankit是一个基于Transformer架构的轻量级Python工具包，支持多语言自然语言处理，包含针对56种语言的90个预训练流水线。它引入了自动模式，多语言输入可自动检测。Trankit在多个自然语言处理任务上表现优异，超过Stanza等主流工具包，并保持高效的内存使用和处理速度。用户无需编程经验即可通过简便的命令行界面使用，还可定制流水线。

飞桨官方出品，提供一站式深度学习学习资源，包括基础实践课程、深度学习书籍、百问专题和产业应用案例等。涵盖从基础到进阶的学习资料，适合高校和企业应用。项目内容实时更新，帮助开发者掌握最新深度学习技术，提升专业能力。

该资源库汇集了关于自然语言处理 (NLP) 的顶级深度学习资料，重点包括生成预训练Transformer（GPT）、双向编码器表示（BERT）、注意力机制、Transformer架构、ChatGPT及其在NLP中的迁移学习应用。包含大量研究论文、文章、教程及工具，为研究人员和开发人员提供最新的Transformer技术与应用。此系列资源帮助了解和掌握最新的NLP模型及实现方法，提高自然语言处理任务的性能与效率。

tr是一款离线OCR文本识别SDK，核心采用C++开发并提供Python接口，支持多行文本识别和多模态大模型集成。tr结合CRNN与TransformerEncoder，提供高效且资源占用低的OCR解决方案，适用于如弯曲文本和图表等复杂场景。最新版本优化了C++接口、支持Python2、多线程功能，并去除了对opencv-python和Pillow的依赖。提供简洁的下载与安装指引，及详细的示例代码便于快速部署和测试。

本页面介绍了支持15种以上算法的光谱压缩成像重建工具箱，包括MST++等在NTIRE挑战中获奖的前沿方法。页面列出了TwIST、GAP-TV、DeSCI等顶级光谱重建算法，还提供了相关代码、预训练模型和实验结果，方便研究者进一步研究与应用。

SpecVQGAN项目提出了一种利用视觉提示生成声音的方法。通过将训练数据集缩小到一组代表向量（代码本），这些代码本向量可被控地进行采样，从而根据视觉提示生成新声音。项目使用VQGAN的训练方法在频谱图上训练代码本，并通过GPT-2变体的transformer在视觉特征条件下自回归地采样代码本条目。这种方法可以生成长时间、相关且高保真的声音，并支持多种数据类别。

actionformer_release是一个基于Transformer的动作定位模型，能够检测动作实例的起止点并识别动作类别。在THUMOS14数据集上，该模型取得了71.0%的mAP，超越之前的最佳模型14.1个百分点，并首次突破60%的mAP。此外，该模型在ActivityNet 1.3和EPIC-Kitchens 100数据集上也取得了优异成绩。该项目设计简洁，通过局部自注意力机制对未剪辑视频进行时间上下文建模，并可一次性精确定位动作时刻。代码和预训练模型已开源，可供下载和试用。

Autoformer是一种长时间序列预测的通用模型，采用分解变压器和自动相关机制，实现38%的预测精度提升，覆盖能源、交通、经济、天气和疾病等应用领域。最近，该模型已被纳入Hugging Face和Time-Series-Library，并在2022年冬奥会中用于天气预报。Autoformer不同于传统Transformer，不需位置嵌入，具备内在的对数线性复杂度，易于实现和复现。

Efficient-AI-Backbones 项目涵盖了由华为诺亚方舟实验室研发的一系列先进的人工智能模型，包括 GhostNet, TNT, AugViT, WaveMLP, 和 ViG 等。这些模型通过创新的结构设计和优化，有效提升了计算效率和性能，广泛应用于各种智能处理任务。最新发布的 ParameterNet 在 CVPR 2024 会议上被接受，展现了华为在人工智能技术领域的持续领先。

该指南为自然语言处理（NLP）及其他领域的学习者提供了丰富的Transformer学习资源，包括基础介绍、技术解析、实际实现和应用。通过精选的文章、视频和代码示例，帮助用户深入掌握Transformer模型的理论与实践。

LLM百宝箱是大模型相关资源的综合汇总，包括算法、训练、推理、数据工程、压缩和测评等方面。用户可以通过目录和链接快速找到相关内容，如Transformer和GPT模型的原理和源码解析，以及混合专家模型（MoE）等前沿技术。此外，还提供了LLM微调、对齐和推理优化的实现方案和技巧，帮助开发者和研究者深入掌握并应用大模型技术。

详细注释的Transformer实现，涵盖从头创建Transformer系列，包括注意力机制和整体Transformer的实现。提供双向注意力、因果注意力及因果交叉注意力的实现，以及GPT-2和BERT模型的单文件实现，兼容torch.compile(..., fullgraph=True)以提高性能。

项目提供了对话系统和自然语言生成领域的最新研究文献，覆盖深度学习、多模态对话、个性化对话、情感对话、任务导向对话和开放域对话等主题。同时，详细总结了自然语言生成的理论与技术、可控生成、文本规划及解码策略，旨在协助研究人员高效掌握相关技术和方法。

RecurrentGPT 模拟 LSTM 的长短时记忆机制，解决了 GPT 生成文本长度受限的问题。每次生成时段文本并更新记忆，便于用户观测和修改。这提高了文本生成的可解释性和互动性，并展示了其在互动小说和个性化内容创作中的潜力。RecurrentGPT 运用了认知科学和深度学习的流行设计概念，推动了下一代计算机辅助写作系统的发展。

pysentimiento是一个Python工具包，专为情感分析和社交NLP任务设计。它支持多种语言，包括西班牙语、英语、意大利语和葡萄牙语，可以进行情感分析、仇恨言论检测、讽刺检测及情感分析等。使用简单，只需通过pip安装并调用预设模型即可。适用于研究者和开发者的强大开源工具。

Conformer模型结合卷积神经网络和Transformers，能同时捕捉音频的局部和全局依赖关系，提高语音识别精度并节省参数。本项目提供该模型的PyTorch实现，包含详细的安装和使用指南，适用于Python 3.7及更高版本。

SwissArmyTransformer是一个灵活且强大的库，用于开发和优化各种Transformer变体模型，如BERT、GPT、T5等。该库通过轻量级混合组件支持多种用途，并结合DeepSpeed-ZeRO和模型并行技术，提供了大规模模型预训练和微调的最佳实践。只需几行代码即可实现前缀调优和缓存自动回归模型，适用于大规模分布式训练和高效推理。

HAT项目提供基于PyTorch的硬件感知Transformer，模型大小减小至原来的3.7倍，且性能无损。通过SuperTransformer搜索优化的SubTransformer，大幅降低搜索成本，并在不同硬件平台例如Raspberry Pi和Intel Xeon上实现显著加速。支持多种机器翻译任务，并提供预处理数据和预训练模型的直接下载。

通过Transformer编码器和多级上下文感知特征融合解码器，显著提升域适应语义分割性能。DAFormer使用稀有类采样、ImageNet特征距离和学习率预热等策略，提升GTA→Cityscapes和Synthia→Cityscapes的分割效果，并扩展至域泛化领域。在多个UDA基准上，DAFormer显著超越了前沿方法，成为领域推广和不受目标图像限制的语义分割任务中新的性能标杆。

detrex是一个开源工具箱，专为最先进的Transformer检测算法提供支持。该工具箱基于Detectron2构建，并参考了MMDetection和DETR的模块设计。detrex模块化设计，提供强大基线，通过优化超参数将模型性能提升至0.2至1.1AP。该工具箱轻量易用，支持最新算法如Focus-DETR、SQR-DETR、Align-DETR、EVA-01和EVA-02，帮助用户构建定制模型。

该项目提供详细文档和解释的简明PyTorch神经网络及算法实现，涵盖Transformer、GPT-NeoX、GAN、扩散模型等前沿领域，并每周更新新实现，帮助研究者和开发者高效理解深度学习算法。

本仓库汇集了大语言模型（LLMs）的面试知识和实用资源，适合准备大模型面试的求职者。内容涵盖大模型基础、架构、训练数据、分布式训练、推理优化、强化学习、RAG技术、模型评估及应用案例。提供详细的知识点解析和操作指南，并附有项目示例和在线体验链接。定期更新，确保内容时效性和实用性。欢迎访问在线阅读页面，关注微信公众号获取更多相关信息。

探索视觉变换器和注意力机制的最新发展，包括由Min-Hung Chen持续更新的论文、代码与链接资源。适合学术与实际应用，发现创新思路。

该项目提供了一系列循序渐进的教程，指导从零开始构建常见的Transformer模型，如BERT、GPT、GPT2、BART和T5。教程不仅讲解基本架构的实现，还包括预训练和微调示例，并提供小型PyTorch库以便额外使用。项目依赖HuggingFace的tokenizers库进行子词标记，适用于不同规模数据集的训练需求，还涵盖了多工作节点的分布式训练示例，非常适合希望深入了解Transformer模型原理和应用的学习者。

此项目通过可视化技术帮助研究人员理解Transformer模型在语言和视觉任务中的自注意力机制，展示查询与关键向量的关系和整体模式。AttentionViz提供了交互式工具，支持多输入序列分析，提升了模型理解，并在多个应用场景中展现其实用性。

本页面介绍2023版深度学习实验课程，包括理论与实践内容。涵盖监督学习、多层感知器、优化、正则化、卷积神经网络、变压器、自编码器、生成对抗网络和大型语言模型等主题，并提供开发环境、Python、Numpy、PyTorch及Gradio的实践指南。所有文档和代码示例在GitHub上提供，帮助学习者掌握深度学习技术。

提供一个兼容HuggingFace Transformers的附加库，整合超过10种Adapter方法和超过20种先进Transformer模型，简化训练和推理的编程工作量。支持高精度与量化训练、任务算术合并适配器以及多适配器组合等功能，适用于NLP任务的参数高效传输学习。

该存储库含有预训练模型、示例脚本、最佳实践和详细教程，针对优化机器学习模型在Intel® Xeon® 可扩展处理器和Intel® 数据中心GPU上的表现。文档涵盖了使用TensorFlow和PyTorch进行推理与训练的详细步骤，并提供了针对Sapphire Rapids和Intel® Data Center GPU Flex及Max系列的性能优化指南，展示了在最佳硬件配置下的AI性能。

该项目展示了MetaFormer架构在视觉任务中的应用，特别通过简单的池化操作实现token混合。研究证实，基于这种方法的PoolFormer模型在ImageNet-1K验证集上表现优于DeiT和ResMLP。此外，后续工作介绍了IdentityFormer、RandFormer等MetaFormer基线模型。本项目证明了Transformer模型的竞争力主要来源于其通用架构MetaFormer，而非特定的token混合器。

LongNet是一个创新的Transformer变体，通过膨胀注意力机制扩展序列长度至超过10亿标记，同时保持对较短序列的高性能。该模型具有线性计算复杂度，适用于极长序列的分布式训练，并且其膨胀注意力可以无缝替代标准注意力。实验结果证明，LongNet在长序列建模和一般语言任务上表现出色，为处理整个语料库或互联网序列开辟了新路径。

Gemini项目实现了一个可处理文本、音频、图像和视频输入的多模态变换器，具备特殊解码功能来生成图像。其架构类似于Fuyu，但扩展至多种模态，并通过直接将图像嵌入输入变换器来处理。组件Codi也采用条件生成策略，初步实现图像嵌入，后续将集成音频和视频嵌入。

ByteTransformer是一个为BERT类Transformer优化的高性能推理库，支持Python和C++ API，兼容固定长度和可变长度Transformer。通过对BERT例程中的QKV编码、软最大值、前馈网络、激活、层归一化和多头注意力机制进行优化，ByteTransformer为字节跳动的内部推理系统提升了性能。基准测试结果显示，相较于PyTorch、TensorFlow、FasterTransformer和DeepSpeed，ByteTransformer在A100 GPU上的推理速度更快。

Optimum扩展了Transformers和Diffusers，提供了一系列优化工具，提升模型在不同硬件上的训练和运行效率。支持的硬件平台包括ONNX Runtime、Intel Neural Compressor、OpenVINO、NVIDIA TensorRT-LLM、AMD Instinct GPUs、AWS Trainium & Inferentia、Habana Gaudi处理器和FuriosaAI。Optimum支持多种优化技术，如图优化、动态量化、静态量化和量化感知训练，配有详尽的文档和示例代码，帮助用户导出和运行优化后的模型。

RWKV是一个高性能的并行化RNN，具有变换器级别的性能。该模型实现了快速的推理和训练速度，不依赖于传统的注意力机制，而是通过隐藏状态进行计算，优化了VRAM的使用，并支持处理无限长度的文本上下文。RWKV的这些特点使其在进行句子嵌入和处理复杂文本任务时显示出优越的能力。

REaLTabFormer使用Seq2Seq模型生成关系数据集，针对非关系数据采用GPT-2模型，直接建模任意独立观察的表格数据。通过生成父表和关系表，利用目标掩码和统计方法避免过拟合。实验结果表明其在捕捉关系结构方面优于基准模型，并在大型非关系数据集上实现了先进的预测效果。REaLTabFormer易于安装和使用，并提供样本验证器以提高生成数据的有效性和准确性。

本页面介绍了多个知名的大型语言模型（LLM）的发展历史，包括其发布年份、相关论文、核心功能和代码实现。从Transformer、GPT系列到最新的GPT-4和Claude，全面汇总了每个模型的关键信息及技术亮点，并提供了相关链接供深入了解。对于自然语言处理（NLP）领域的研究者、开发者和爱好者，这些信息具有重要的参考价值。

LongRoPE项目提出了一种将大语言模型（LLM）上下文窗口扩展至超过200万个标记的方法。通过利用位置嵌入中的非均匀性，项目实现了8倍的上下文窗口扩展，无需微调。采用逐步扩展策略从256k微调至2048k上下文，避免了对超长文本的直接微调。LongRoPE还调整了原始窗口长度内的嵌入，确保在各种任务中保持高效表现，适用于对话、问答、长文档摘要及少样本学习。

该项目基于PyTorch实现了BERT模型及其相关下游任务，详细解释了BERT模型和每个任务的原理。项目支持分类、翻译、成对句子分类、多项选择、问答和命名实体识别等任务，涵盖中文和英语的自然语言处理。此外，项目还含有丰富的数据集和预训练模型配置文件。

BertViz是一个交互式工具，可视化BERT、GPT2、T5等Transformer模型的注意力机制。支持在Jupyter和Colab中运行，提供head view、model view、neuron view三种独特视角。通过简便的Python API调用，大多数Huggingface模型均兼容。通过Colab教程，可快速尝试这些可视化功能。

项目汇总了最新的基于Transformer的计算机视觉研究论文，涵盖了视频处理、图像分类、目标检测和异常检测等广泛应用场景。用户可点击链接查看具体类别的论文和代码。若发现遗漏研究，欢迎提交问题或请求。最新版本更新于2024年8月8日，为科研人员与开发者提供丰富资源。

研究提出了一种名为Restormer的高效Transformer模型，通过多头注意力和前馈网络设计，实现了长距离像素交互，适用于大图像处理。该模型在图像去雨、单图像运动去模糊、散焦去模糊（单图像和双像素数据）和高斯及真实图像去噪等任务中表现优异。Restormer的训练代码和预训练模型已发布，并被选为CVPR 2022的口头报告。用户可通过Colab或命令行测试预训练模型。

Joey NMT框架专为教育而设计，提供简明和清晰的代码库，帮助初学者理解RNN和Transformer等经典NMT架构。其主要特点包括模块化设计，便于修改组件及训练流程，保持代码可读性。支持多个注意力机制、不同的分词类型和多语种翻译，包含详细的文档和教程，适用于模型训练、测试和翻译的各个阶段。最新版本引入分布式数据并行和多项优化，兼容最新的Python和PyTorch版本。

TransMorph是一个利用Transformer架构进行无监督医学图像配准的开源项目，结合了Vision Transformer和Swin Transformer技术。提供多个模型变体和多种损失函数，支持单模态和多模态配准，公开了训练脚本和预训练模型，并在MICCAI 2021 L2R挑战中表现出色。

TransBTS与TransBTSV2采用Transformer技术显著提升多模态脑肿瘤与医学图像体积分割的效率与准确性。项目包括详细的模型实现和相关文献，支持BraTS、LiTS、KiTS等医学图像数据集，并利用Python和Pytorch进行数据预处理、模型训练和测试，支持分布式训练。适用于需要高效精准医学图像分割解决方案的研究人员和工程师。

页面汇总了深度学习与自然语言处理领域的重要书籍、论文和资源，包括Transformer模型、预训练技术、分类方法、文本生成、句子相似度、问答系统和神经机器翻译等主题。提供从入门到高级的详尽资料，帮助用户了解和掌握自然语言处理技术及最新发展。