#Transformers

参数高效微调（PEFT）通过只调整少量额外参数来适配大规模预训练模型，大幅降低计算和存储成本，同时性能接近完全微调模型。PEFT与Transformers、Diffusers和Accelerate集成，支持多种下游任务的训练和推理。了解更多方法和优势，请访问官方文档和教程。

项目介绍了如何通过Docker快速部署LLaMA2大模型，支持官方7B、13B模型及中文7B模型。用户只需三步即可上手，并提供量化版本支持CPU推理。详细教程和一键运行脚本帮助用户轻松构建和运行模型。

该项目提供了由Hugging Face开发的Transformers库的快速入门教程，支持加载大部分预训练语言模型。教程涵盖自然语言处理背景知识、Transformers基础和实战案例，包括pipelines、模型与分词器使用、微调预训练模型及序列标注任务等。示例代码展示了句子对分类、命名实体识别、文本摘要等任务的实现，适合机器学习和NLP开发者参考。

Detoxify项目利用Pytorch Lightning和Transformers构建模型，识别和分类包含威胁、辱骂和身份攻击的有害评论。这些模型支持多语言操作，致力于减少无意中的偏见。项目在多次Jigsaw挑战赛中表现出色，提供高效的有害内容检测方案，适合用于研究和内容审核工作，帮助更快速地标记有害内容和提高用户体验。

本项目提供了关于如何使用Transformers模型在自然语言处理任务中进行精细调优的详细教程，包括文本分类、情感分析、命名实体识别和摘要生成等案例。教程旨在帮助用户掌握应用最新NLP技术的技巧，并提供配套的Python代码示例和工具指南。

此课程讲解如何将Transformers应用于自然语言处理及其他任务，并介绍Hugging Face生态系统的使用，包括Transformers、Datasets、Tokenizers和Accelerate工具，以及Hugging Face Hub。课程完全免费且开源，支持多语言翻译学习，旨在推广机器学习。对于翻译课程感兴趣的用户，可在GitHub上开issue并加入Discord讨论。

TorchScale是一个PyTorch开源库，旨在帮助研究人员和开发者有效扩展Transformer模型。该库专注于开发基础模型和AGI架构，提升建模的通用性、能力以及训练的稳定性和效率。其关键功能包括DeepNet的稳定性、Foundation Transformers的通用性、可延展性的Transformer和X-MoE的效率。最新更新涉及LongNet和LongViT等创新架构，支持多种应用，如语言、视觉和多模态任务，用户仅需几行代码即可快速创建和调整模型。

该项目提出了一种名为PointMamba的模型，它通过借鉴Mamba模型在自然语言处理中的成功经验，应用在点云分析中。PointMamba采用了线性复杂度算法，在有效减少计算成本的同时，提供了卓越的全局建模能力。该模型通过空间填充曲线进行点云标记，并使用非分层结构的Mamba编码器作主干网络。综合评估表明，PointMamba在多个数据集上的表现优异，显著降低了GPU内存使用和计算量，为未来的研究提供了一个简单而有效的基准。

本项目专业整理了Transformers在时序数据建模中的资源，涵盖论文、代码和数据，全面总结其最新进展。内容持续更新，开放问题提交和拉取请求，覆盖时序预测、不规则时序建模、异常检测和分类等领域，适合学术研究及实际应用。

🤗 Exporters工具包旨在简化将Transformer模型转换为Core ML格式的过程，避免手动编写转换脚本。它与Hugging Face Transformers库紧密集成，并提供无代码转换体验，支持BERT和GPT-2等多种模型架构。工具包可在Linux和macOS平台上运行，利用coremltools实现从PyTorch或TensorFlow到Core ML的转换，并通过Hugging Face Hub进行模型管理，提升模型转换和部署的便捷性及灵活性。

该列表收录最新的状态空间模型及其在各领域的应用研究，涵盖传统序列建模、图像处理、医学图像分析、视频理解等方面。欢迎提出改进建议，共同推进领域发展。列表包括详细论文、PDF链接及相关代码，方便研究者参考与探索新一代网络模型。

课程提供丰富的实战代码和案例，从基础入门到高效微调以及低精度和分布式训练。涵盖命名实体识别、机器阅读理解和生成式对话机器人等NLP任务。帮助深入理解Transformers的核心组件和参数微调技术，包括模型优化和分布式训练。适合对Transformers应用和实践感兴趣的学习者。课程在B站和YouTube持续更新，紧跟技术前沿。

LTSF-Linear是一个高效的线性模型家族，包括Linear、NLinear和DLinear，专为时间序列预测设计。该模型支持单变量和多变量长时间预测，具有高效率、可解释性和易用性，显著优于Transformer模型。

Manga OCR 是一款基于Transformer的自定义端到端模型的光学字符识别工具，专为日本漫画设计。它可以识别垂直和平行文本、带有振假名的文本、覆盖在图像上的文本、各种字体以及低质量图像。Manga OCR 支持一次性识别多行文本，适用于漫画中的文本气泡。同时，该项目还提供与GUI阅读器和HTML覆盖生成工具的集成，便于用户创建完整的阅读和挖掘工作流程。

minRF是一个开源项目，提供整流流变换器的轻量级实现，适用于深度学习研究。它结合SD3训练方法和LLaMA-DiT架构，包括支持MNIST和CIFAR数据集的基础版本，以及支持ImageNet训练并引入muP技术的高级版本。项目代码结构清晰，便于理解和定制，为研究人员提供了灵活的整流流模型实验环境。

本项目汇总了单细胞组学数据分析中的Transformer模型,包括论文、代码、数据模态等关键信息。通过全面概述单细胞Transformer模型,展示了该领域的最新进展和发展趋势。项目内容持续更新,为研究人员提供了宝贵的参考资源。项目内容涵盖了各Transformer模型的核心要素,如数据模态、预训练数据集、模型架构和任务类型等。这种系统性的整理使研究人员能够快速了解和比较不同模型的特点,为单细胞组学研究提供了有力支持。

该研究项目探索Transformer模型的算术能力。研究团队开发的Abacus Embeddings技术使Transformer模型能执行加法、乘法、排序和按位OR等运算。项目提供复现所需的代码、数据集和评估方法，并详述模型训练、测试和分析流程。这一研究为提升AI模型数学运算能力提供新思路。

这个项目汇集了基于HuggingFace Transformers库的多种深度学习模型教程，涵盖自然语言处理和计算机视觉等领域。内容包括BERT、DETR、LayoutLM等模型的微调和推理示例，展示了在图像分类、目标检测、文档分析等任务中的应用。所有代码采用PyTorch实现，并提供Colab notebooks方便实践。

swift-coreml-transformers项目提供了GPT-2、DistilGPT-2、BERT和DistilBERT等Transformer模型的Swift Core ML实现。项目包括预训练模型、转换脚本、分词器实现和演示应用。开发者可在iOS设备上部署这些自然语言处理模型,实现文本生成和问答功能。该开源项目展示了如何将先进NLP技术应用于移动设备。

C-Tran是一个探索Transformer在多标签图像分类中应用的开源项目。该项目提出了一种通用多标签图像分类方法，在COCO80和VOC20等数据集上展现出优秀性能。项目包含完整的训练和运行指南，涵盖数据处理和模型训练等关键步骤。C-Tran为计算机视觉领域提供了新的研究方向，对推进多标签图像分类技术具有重要意义。

plm-nlp-code项目提供《自然语言处理：基于预训练模型的方法》一书的示例代码，涵盖词嵌入到BERT等多个NLP主题。项目包含代码实现、环境设置和书中勘误，是NLP学习者和研究者的实用资源。代码基于Python 3.8.5和PyTorch 1.8.0等环境，展示了现代NLP技术的核心内容和实践应用。

MindFormers是基于MindSpore的大模型开发套件,提供全流程开发能力。支持LLama2、GLM2、BERT等主流Transformer模型和文本生成、图像分类等任务。具备并行训练、灵活配置、自动优化等特性,可实现从单卡到集群的无缝扩展。提供高阶API和预训练权重自动下载,便于AI计算中心快速部署。

本项目汇集大量研究论文和文章,深入分析变压器和大语言模型在时间序列预测中的表现及局限性。探讨这些深度学习模型处理时间序列数据的挑战,并介绍更适合的替代方法。为时间序列预测领域的研究和应用提供全面的参考资源。

本项目提供全面的NLP学习课程，涵盖词嵌入到Transformer模型等关键技术。7次在线课程由行业专家授课，学习者可掌握核心知识并使用Hugging Face开发应用。课程设计适合不同水平学习者，提供录像回放及社区支持。

该书全面介绍Transformers在NLP和计算机视觉领域的应用,探讨大型语言模型架构、预训练和微调技术,以及Hugging Face、OpenAI和Google Vertex AI平台的使用。内容涵盖跨平台链式模型实现、视觉transformers处理,并探索CLIP、DALL-E 3和GPT-4V等前沿技术。此外还讨论模型解释性、tokenizer优化和LLM风险缓解等关键主题,为读者提供Transformers应用的实践指南。

这本由Hugging Face Transformer库作者撰写的技术指南，全面介绍了Transformers在自然语言处理中的应用。内容涵盖基础概念和高级应用，为开发者提供了利用Hugging Face库构建NLP应用的实用方法。本书旨在帮助读者掌握前沿NLP技术，并将其有效应用于实际项目开发中。

ferret是一个Python库，集成了Transformer模型的可解释性技术。它提供四种基于Token级特征归因的解释方法和六种评估协议，与transformers库无缝对接。通过简洁的API、可视化工具和数据集评估功能，ferret帮助用户深入理解和评估文本模型的决策过程。

MobileLLaMA-1.4B-Base是一款以1.3T tokens训练的1.4B参数Transformer模型，旨在降低LLaMA的参数数量以实现快速部署。通过标准语言理解和常识推理基准测试，展示其性能与最新开源模型相媲美。详细信息请参考GitHub和相关论文。

该项目详细介绍了在Habana's Gaudi处理器上配置和运行ALBERT XXL模型的方法，采用GaudiConfig实现关键功能，如自动混合精度、Habana的定制AdamW实现和融合梯度裁剪等。通过提供的操作指导，用户可以高效利用Habana HPU进行模型加载、训练和推理。文档中还包含示例脚本及指南，帮助在SQuAD数据集上微调模型，探索Habana HPU的应用潜力。

本项目在SQuAD数据集上对T5模型进行微调，专注于问答生成功能的提升。利用PyTorch和Transformers库，该模型可基于指定的答案和上下文生成相关问题，显著提高了问答系统的自动化水平，适用于文本、视觉和音频等多模态任务。

distil-large-v2是Whisper语音识别模型的蒸馏版本,推理速度提高6倍,模型体积减少49%,性能接近原始模型。采用编码器-解码器架构,通过精简解码器层数实现加速。支持英语短音频和长音频转录,可作为Whisper辅助模型进行推测解码。基于多个开源数据集训练,适用广泛语音识别场景。

albert-tiny-chinese-ws是CKIP Transformers项目开发的轻量级预训练模型，专门用于繁体中文分词任务。该模型基于ALBERT架构，具有处理速度快、准确度高的特点，适合大规模繁体中文文本处理。除分词外，CKIP Transformers还提供BERT、GPT2等多种繁体中文自然语言处理模型。为获得最佳性能，推荐使用BertTokenizerFast作为分词器。

FuguMT是一个开源的英日机器翻译模型，基于Marian-NMT技术开发。该模型集成了transformers和sentencepiece库，支持单句和多句翻译功能。在Tatoeba测试集上，FuguMT的BLEU评分达到32.7。用户可通过简单的Python代码调用模型，实现英日文本的快速翻译。

该项目是基于Google的PEGASUS-CNN/DailyMail预训练模型，在SAMSum对话数据集上微调的对话摘要生成系统。源于《NLP with Transformers》一书，这个模型能自动提取对话内容的关键信息。在评估集上达到1.4875的损失值，采用Adam优化器和线性学习率调度进行训练。此项目展示了如何将先进的NLP技术运用于实际的对话摘要任务中。

W2v-BERT 2.0是一款开源的多语言语音编码器，基于Conformer架构设计。该模型包含6亿参数，在4.5百万小时的无标签音频数据上进行预训练，涵盖143种语言。作为Seamless系列的核心组件，W2v-BERT 2.0可应用于自动语音识别和音频分类等任务。该模型支持通过Hugging Face Transformers和Seamless Communication框架使用，为多语言语音处理研究提供了有力工具。

CKIP实验室开发的这个BERT模型专门用于中文词性标注。它基于bert-base-chinese训练，支持繁体中文，可为文本中每个词准确标注词性。该模型适用于文本分析、语义理解等多种自然语言处理任务。研究者和开发者可通过Hugging Face的transformers库方便地使用此模型，为中文NLP工作提供有力支持。