注意:翻译需要符合中文语序、流程、通顺
labml.ai 深度学习论文实现
这是一个简单的 PyTorch 神经网络及相关算法实现的集合。这些实现带有详细的解释文档,
该网站 以并列格式呈现这些笔记。我们相信这些会帮助你更好地理解这些算法。
我们正在积极维护这个仓库,几乎每周都会添加新的实现。关注 以获取更新。
论文实现
✨ Transformers
- 多头注意力机制
- Transformer 构建模块
- Transformer XL
- 旋转位置嵌入
- 带线性偏置的注意力机制 (ALiBi)
- RETRO
- 压缩 Transformer
- GPT 架构
- GLU 变体
- kNN-LM: 通过记忆进行泛化
- 反馈 Transformer
- Switch Transformer
- 快速权重 Transformer
- FNet
- 无注意力 Transformer
- 掩码语言模型
- MLP-Mixer: 一种全 MLP 架构用于视觉任务
- 注意 MLPs (gMLP)
- 视觉 Transformer (ViT)
- Primer EZ
- Hourglass
✨ Eleuther GPT-NeoX
✨ 扩散模型
✨ 生成对抗网络
✨ 循环高速网络
✨ LSTM
✨ 超网络 - HyperLSTM
✨ ResNet
✨ ConvMixer
✨ 胶囊网络
✨ U-Net
✨ Sketch RNN
✨ 图神经网络
✨ 反事实后悔最小化 (CFR)
通过 CFR 解决如扑克之类的不完全信息博弈。