#Transformers
NLP de 0 a 100: El curso gratuito y open-source más completo de Procesamiento del Lenguaje Natural en español
2 个月前
PEFT学习资料汇总 - 参数高效微调入门指南
1 个月前
深入浅出Transformers: 自然语言处理的革命性技术
2 个月前
Transformers教程:使用HuggingFace库实现多模态AI模型
2 个月前
相关项目
docker-llama2-chat
项目介绍了如何通过Docker快速部署LLaMA2大模型，支持官方7B、13B模型及中文7B模型。用户只需三步即可上手，并提供量化版本支持CPU推理。详细教程和一键运行脚本帮助用户轻松构建和运行模型。
How-to-use-Transformers
该项目提供了由Hugging Face开发的Transformers库的快速入门教程，支持加载大部分预训练语言模型。教程涵盖自然语言处理背景知识、Transformers基础和实战案例，包括pipelines、模型与分词器使用、微调预训练模型及序列标注任务等。示例代码展示了句子对分类、命名实体识别、文本摘要等任务的实现，适合机器学习和NLP开发者参考。
detoxify
Detoxify项目利用Pytorch Lightning和Transformers构建模型，识别和分类包含威胁、辱骂和身份攻击的有害评论。这些模型支持多语言操作，致力于减少无意中的偏见。项目在多次Jigsaw挑战赛中表现出色，提供高效的有害内容检测方案，适合用于研究和内容审核工作，帮助更快速地标记有害内容和提高用户体验。
transformers-tutorials
本项目提供了关于如何使用Transformers模型在自然语言处理任务中进行精细调优的详细教程，包括文本分类、情感分析、命名实体识别和摘要生成等案例。教程旨在帮助用户掌握应用最新NLP技术的技巧，并提供配套的Python代码示例和工具指南。
course
此课程讲解如何将Transformers应用于自然语言处理及其他任务，并介绍Hugging Face生态系统的使用，包括Transformers、Datasets、Tokenizers和Accelerate工具，以及Hugging Face Hub。课程完全免费且开源，支持多语言翻译学习，旨在推广机器学习。对于翻译课程感兴趣的用户，可在GitHub上开issue并加入Discord讨论。
torchscale
TorchScale是一个PyTorch开源库，旨在帮助研究人员和开发者有效扩展Transformer模型。该库专注于开发基础模型和AGI架构，提升建模的通用性、能力以及训练的稳定性和效率。其关键功能包括DeepNet的稳定性、Foundation Transformers的通用性、可延展性的Transformer和X-MoE的效率。最新更新涉及LongNet和LongViT等创新架构，支持多种应用，如语言、视觉和多模态任务，用户仅需几行代码即可快速创建和调整模型。
PointMamba
该项目提出了一种名为PointMamba的模型，它通过借鉴Mamba模型在自然语言处理中的成功经验，应用在点云分析中。PointMamba采用了线性复杂度算法，在有效减少计算成本的同时，提供了卓越的全局建模能力。该模型通过空间填充曲线进行点云标记，并使用非分层结构的Mamba编码器作主干网络。综合评估表明，PointMamba在多个数据集上的表现优异，显著降低了GPU内存使用和计算量，为未来的研究提供了一个简单而有效的基准。
time-series-transformers-review
本项目专业整理了Transformers在时序数据建模中的资源，涵盖论文、代码和数据，全面总结其最新进展。内容持续更新，开放问题提交和拉取请求，覆盖时序预测、不规则时序建模、异常检测和分类等领域，适合学术研究及实际应用。
peft
参数高效微调（PEFT）通过只调整少量额外参数来适配大规模预训练模型，大幅降低计算和存储成本，同时性能接近完全微调模型。PEFT与Transformers、Diffusers和Accelerate集成，支持多种下游任务的训练和推理。了解更多方法和优势，请访问官方文档和教程。