Github
论文transformers 项目介绍
👋 项目简介
transformers项目是由一位软件工程师Peter发起的，这是他进军transformers世界的新尝试。他热情邀请大家与他一起加入这个学习旅程。该课程正在不断完善中，具备免费和开源的特点，将由大家一同构建。在这个过程中，参与者将会探索重要概念，完成实践练习，并分析一些具有重大影响力的学术论文。同时，课程也会借助YouTube视频与Jupyter笔记本进行深入学习与实践。让我们携手踏入transformers的奇妙世界！🚀
🚀 课程内容
🔑 关键概念
- 编码器-解码器架构：transformers的重要组成，助力序列到序列的任务。
- 自注意力机制：模型能够根据输入序列自身的关联性进行信息处理。
- 多头注意力机制：提高模型捕捉不同位置关系的能力。
- 位置编码：在序列中引入位置信息，补足transformers的顺序处理能力。
- 键、查询与值：注意力机制中用于匹配和加权的基本元素。
- 词嵌入：将文字转换为向量表示，使语言信息更易于被模型理解。
- 动态填充：处理不同长度的输入序列，使其适应批处理需求。
- 标记化：将文本拆分为更小的单元，如单词或字符。
🛠️ 实践练习
- 从头开始实现自注意力机制。
- 从零实现多头注意力机制。
- 构建一个简单的transformer模型以完成序列到序列任务。
- 针对特定任务微调预训练模型，如BERT或GPT-2。
- 使用像GPT-2这样的预训练transformer进行文本生成。
- 在自定义数据集上训练ViT进行图像分类。
🗞️ 论文审读
参与者将在课程中共同阅读和讨论一些经典的学术论文，包括：
- 《Attention Is All You Need》 (2017)
- 《BERT: Pre-training of Deep Bidirectional Transformers for Language Understanding》 (2018)
- 《ViT：An Image is Worth 16x16 Words: Transformers for Image Recognition at Scale》 (2020)
- 《DETR: End-to-End Object Detection with Transformers》 (2020)
- 《CLIP: Learning Transferable Visual Models From Natural Language Supervision》 (2021)
- 《GPT-3: Language Models are Few-Shot Learners》 (2020)
🎬 即将上线的视频
课程发布计划中包括以下视频:
- 课程简介
- 自注意力机制详解
- 多头注意力机制解析
- 论文解析：《Attention Is All You Need》
🦸 贡献方式
该项目欢迎每一位拥有想法的参与者。无论是纠正错别字、添加内容，还是提出改进建议，大家都可以通过开设问题，帮助提升这个项目的质量。一起让transformers的学习体验更上一层楼！
