#自注意力机制
attention-is-all-you-need-pytorch学习资料汇总 - PyTorch实现Transformer模型
FlatFormer: 高效点云Transformer的扁平化窗口注意力机制
ArtLine
ArtLine项目旨在自动生成精美的肖像线条艺术。整合了ControlNet与ArtLine，该模型不仅能识别面部特征，还能根据指令调整图像风格。项目采用自注意力机制、渐进式缩放和感知损失技术，使其在不同姿态和背景下表现出色。项目持续改进，将解决背景和阴影识别问题，提供更好的用户体验。
transformers
该课程由软件工程师Peter发起，现正免费且开放源码。内容涵盖transformers的关键概念、实践练习和学术论文剖析。通过YouTube视频讲解和Jupyter笔记本实操，深入学习编码器-解码器架构、自注意力、多头注意力等核心概念，并从零开始构建简单的transformer模型。亦包含如何微调BERT和GPT-2等预训练模型及进行特定任务处理和文本生成。
former
详细介绍了如何使用PyTorch从零开始实现简单的Transformer模型，包含安装和使用指南，以及通过命令行控制超参数和数据自动下载的说明。
EEG-Conformer
EEG Conformer是一种结合卷积和自注意力机制的EEG分类与可视化工具。其卷积模块提取时间和空间上的局部特征，自注意力模块捕捉全局关联，最终通过全连接层进行分类预测。此外，EEG Conformer还具备将类激活映射到脑拓扑图的可视化功能。支持Python 3.10和Pytorch 1.12，在多个BCI竞赛数据集上表现出色。
GroupMixFormer
GroupMixFormer是一种创新的视觉Transformer模型,引入群组混合注意力(GMA)机制来增强传统自注意力。GMA可同时捕捉不同尺度的token和群组相关性,显著提升模型表征能力。在多项计算机视觉任务中,GroupMixFormer以较少参数实现了领先性能。其中GroupMixFormer-L在ImageNet-1K分类上达到86.2% Top-1准确率,GroupMixFormer-B在ADE20K分割上获得51.2% mIoU,展现出强大潜力。
spreadsheet-is-all-you-need
这个项目将nanoGPT的完整推理流程实现在电子表格中，包括嵌入、层归一化和自注意力等Transformer核心组件。基于Andrej Karpathy的NanoGPT结构，该电子表格模型包含约85000个参数。通过直观展示Transformer的内部机制和数据流，并支持交互式操作，该项目为深入理解GPT工作原理提供了新颖的可视化方法。用户可以通过探索这个电子表格来更好地掌握Transformer架构的细节。
RGT
RGT项目提出递归泛化Transformer模型,通过创新的自注意力机制高效捕获图像全局信息。该模型结合局部和全局特征,在图像超分辨率任务中实现了优异性能,为高质量图像重建提供新思路。实验结果显示RGT在多个评估指标上超越了现有先进方法。
CAT
CAT是一种创新的图像恢复模型,采用矩形窗口自注意力机制扩大特征提取范围。模型通过水平和垂直矩形窗口并行聚合特征,实现窗口间交互。结合CNN的局部特性,CAT在全局-局部特征耦合方面表现出色。实验证实该方法在多种图像恢复任务中超越了现有技术水平。
attention-is-all-you-need-pytorch
本项目基于《Attention is All You Need》论文实现了PyTorch版Transformer模型，利用自注意力机制替代传统的卷积和循环结构，在WMT 2014英德翻译任务中表现出色。项目支持模型训练和翻译，部分字节对编码相关部分尚未完全测试，仍在开发中。提供详细的教程，包括数据预处理、模型训练和测试步骤，为用户提供全面指导。