#transformer

x-transformers提供了多功能的Transformer模型，支持完整的编解码器配置和最新研究成果，适合各种应用，从图像分类到语言模型。其先进技术如闪存注意力和持久内存，有助于提高模型的效率和性能。此项目是研究人员和开发者的理想选择，用于探索和优化机器学习任务中的Transformer技术。

LASER技术通过选择性替换LLM权重矩阵的低秩近似值，在无需额外训练的情况下显著提升问答任务性能。本项目提供了多个LLM和基准支持的代码，并通过示例展示如何运行实验。最新更新包括结果表和讨论页面，2024年1月将进行代码重构，以提高灵活性和易用性。

MEMIT项目专注于简化和优化Transformer模型中大量事实的编辑过程，提供了简单的API和详细的评估套件。用户可以通过示例代码、安装指南和脚本轻松开始并运行完整评估。项目不仅支持快速的大规模编辑，还提供了详细的结果存储和总结机制，适合需要动态更新模型记忆的研究人员和工程师。

open-muse项目致力于重现Transformer MUSE模型，通过LAION-2B和COYO-700M数据集的训练，提供简单且可扩展的代码库。项目包括在Imagenet上训练类别条件模型、在CC12M上进行文本到图像实验，以及训练改进的VQGAN模型，所有结果将上传至Huggingface的openMUSE组织。支持的模型包括MaskGitTransformer和VQGAN，方便使用并可在Huggingface hub上加载和保存。

Flow Forecast 是一个开源时间序列预测深度学习框架，提供最新的Transformer、注意力模型、GRU等技术，并具有易于理解的解释指标、云集成和模型服务功能。该框架是首个支持Transformer模型的时间序列框架，适用于流量预测、分类和异常检测。

详细介绍了如何使用PyTorch从零开始实现简单的Transformer模型，包含安装和使用指南，以及通过命令行控制超参数和数据自动下载的说明。

Generalizable NeRF Transformer (GNT) 是一个用于高效重建和渲染神经辐射场的纯Transformer架构。它通过视图Transformer和射线路径Transformer两个阶段完成场景表示和渲染。GNT在跨场景训练中展示了其在多个数据集上优异的性能和普遍适用性。

CogView是一个基于4B参数预训练的转换器，用于生成通用领域的文本到图像。最新版本CogView2显著提升了生成速度，并扩展支持英文输入。用户可以通过Github和Wudao平台体验并下载预训练模型。项目还包含超分辨率和图像到文本转换功能，并提供详细的设置和运行指南。该项目获得NeurIPS 2021认可，并推荐使用PB-relax和Sandwich-LN技术稳定训练大型转化器。

这个项目将nanoGPT的完整推理流程实现在电子表格中，包括嵌入、层归一化和自注意力等Transformer核心组件。基于Andrej Karpathy的NanoGPT结构，该电子表格模型包含约85000个参数。通过直观展示Transformer的内部机制和数据流，并支持交互式操作，该项目为深入理解GPT工作原理提供了新颖的可视化方法。用户可以通过探索这个电子表格来更好地掌握Transformer架构的细节。

MaskDINO项目提出统一的Transformer架构，整合目标检测、全景分割、实例分割和语义分割任务。该架构实现检测与分割的协同，并在COCO、ADE20K和Cityscapes等主要数据集上取得领先成果。在相同条件下，MaskDINO的性能超越了现有方法，展现出在视觉任务中的卓越潜力。

k-diffusion是一个基于PyTorch的扩散模型实现框架。它支持分层Transformer模型、多种采样算法和Min-SNR损失加权。该框架提供模型包装器、CLIP引导采样功能，以及对数似然、FID和KID等评估指标的计算。k-diffusion为扩散模型研究和应用提供了实用工具。

tracr是一个开源编译工具，可将RASP程序转换为Transformer权重。它通过追踪程序、推断基向量和中间表示，最终生成Haiku模型。tracr支持类别和数值表示，使用BOS标记实现多种操作，并探索了残差流压缩嵌入。研究人员可以利用tracr编译RASP程序，查看中间激活值，深入分析模型行为，为Transformer可解释性研究提供实验平台。

RASPy是一个开源的机器学习项目，通过Python重新实现RASP，简化了Transformer计算。作为嵌入式领域特定语言，RASPy为优化Transformer相关计算提供新思路。项目包含博客、Colab笔记本和源代码，便于研究人员和开发者学习、实践并深入理解Transformer技术。

Tuned Lens是一个开源工具包，用于分析变压器模型的分层预测过程。该工具通过训练和评估调谐镜头，展示了模型如何逐层构建预测。它使用仿射变换替代模型后几层，从中间表示中提取最佳预测，为研究人员提供了深入了解模型内部机制的方法。

opus-mt-tc-big-tr-en 是 OPUS-MT 项目开发的土耳其语到英语神经机器翻译模型。该模型基于 Marian NMT 框架训练，并转换为 PyTorch 格式以兼容 Hugging Face transformers 库。在多个测试集上表现优异，Tatoeba 测试集上 BLEU 分数达 57.6。模型采用 transformer-big 架构，使用 OPUS 和 Tatoeba Challenge 数据训练，为研究人员和开发者提供了高质量的开源翻译工具。

opus-mt-en-hu是一个英语到匈牙利语的机器翻译模型，采用Transformer架构设计。该模型基于OPUS数据集训练，应用了normalization和SentencePiece预处理技术。在Tatoeba测试集上，模型实现了40.1的BLEU分数和0.628的chr-F分数，表现出良好的翻译能力。模型提供了原始权重和测试集翻译结果供下载，便于进行评估和实际应用。

KoBART-base-v2是一款优化的韩语自然语言处理预训练模型，基于BART架构开发。通过引入聊天数据训练，该模型增强了长序列语义理解能力，在NSMC情感分析任务中准确率达90.1%。KoBART还优化了模型结构，增加bos/eos后处理器，移除token_type_ids，进一步提升性能。研究者可借助transformers库轻松应用这一先进的韩语NLP模型。

indobert-emotion-classification是一个基于BERT的印尼语情感分析模型。该模型能够对印尼语文本进行情感分类，支持多种情感标签。通过Hugging Face Transformers库，indobert-emotion-classification可以轻松集成到各种自然语言处理项目中。这个模型适用于分析印尼语社交媒体内容、客户反馈等文本数据的情感倾向，为研究人员和开发者提供了有力的工具。

这款2.7B参数的语言模型具备Fill in Middle功能，可支持18种编程语言及长上下文处理，适合广泛的应用场景。

rinna公司开发的中型日语GPT-2模型基于CC-100和维基百科数据集训练。该模型采用24层1024隐藏单元的Transformer架构，使用sentencepiece分词器。通过Hugging Face可轻松调用，适用于多种日语自然语言处理任务。这个开源项目遵循MIT许可证，为日语NLP研究和应用奠定了坚实基础。

opus-mt-en-sv是一个开源的英语到瑞典语机器翻译模型，基于Transformer架构开发。该模型在Tatoeba测试集上实现60.1的BLEU分数和0.736的chr-F分数，展示了优秀的翻译质量。模型训练采用OPUS数据集，并应用normalization和SentencePiece进行预处理，旨在提供准确的英瑞双语文本转换。

Transformers库推出的标准化AI模型文档框架，系统性记录模型基本信息、使用场景、训练参数、评估方法和环境影响。通过规范化的架构说明、技术细节和风险评估，为开发者提供完整的模型信息参考。

RAG-token-nq是一个结合DPR和BART技术的智能问答模型，通过检索wiki_dpr数据集实现知识增强。模型包含问题编码器、检索器和生成器，能够针对事实性问题生成准确答案。基于uncased处理机制，该模型在知识密集型自然语言处理任务中表现优异。

ELECTRA是一种自监督语言表示学习方法，用于优化Transformer网络的预训练。该模型在小规模下可用单GPU运行，并在大规模数据集如SQuAD 2.0上实现了优异表现。ELECTRA的训练方式借鉴了GAN中的判别器，通过区分真实与虚假输入令牌来学习。项目库提供了ELECTRA的预训练及下游任务精调代码，适用于分类、问答和序列标注等任务。

dolly-v2-7b是基于Pythia-6.9b架构的指令微调语言模型，通过15000条高质量指令数据训练而成。模型支持问答、分类、生成等核心功能，并采用MIT许可证开放商用。作为开源项目，其突出特点是具备可靠的指令理解能力，为AI应用开发提供了实用的基础模型选择。

项目提供了预训练于ImageNet-21k并在ImageNet 2012上微调的Vision Transformer（ViT）大模型。ViT通过将图像分为固定大小的补丁并使用Transformer编码器进行解析，提升了分类精度和特征提取能力，支持高分辨率视觉识别任务并兼容PyTorch使用。