nn-zero-to-hero-notes

项目介绍：nn-zero-to-hero-notes

nn-zero-to-hero-notes 项目是一个 GitHub 仓库，其中包含了详细的 Jupyter Notebook 笔记。这些笔记是针对 Andrej Karpathy 所制作的教程系列“神经网络：从零到英雄”而编写的。这个项目旨在为观看者提供额外的概念及技术概览，使学习过程更加全面深入。

项目内容概述

nn-zero-to-hero-notes 项目的核心在于借助 Jupyter Notebooks 讲解教程视频中的重要知识点。这些笔记按照 Andrei 的教程顺序来组织，并对应以下的教学视频主题：

1. 构建 Micrograd - 讲解神经网络和反向传播的基础知识。
2. 构建 Makemore 第1部分 - 语言建模入门。
3. 构建 Makemore 第2部分：多层感知器（MLP） - 进一步探讨 MLP 的应用。
4. 构建 Makemore 第3部分：激活函数与梯度、批量标准化（BatchNorm） - 深入了解神经网络的激活函数和批量标准化技术。
5. 构建 Makemore 第4部分：成为反向传播忍者 - 提升反向传播技能。
6. 构建 Makemore 第5部分：构建 WaveNet - 从头构建一个 WaveNet 模型。
7. 从头开始构建 GPT - 深入浅出地介绍 GPT 的构建过程。
8. GPT 的现状 - 探讨 GPT 的发展现状。
9. 大型语言模型（LLMs）的介绍 - 导演剪辑版 - 对大型语言模型进行概述。
10. 构建 GPT 分词器 - 探讨 GPT 分词器的原理和实现。
11. 再现 GPT-2 (124M) - 尝试再现 GPT-2 模型。

如何开始

要查看这些笔记，用户需要按以下步骤操作：

1. 使用命令将此仓库克隆到本地计算机：

   git clone https://github.com/MK2112/nn-zero-to-hero-notes.git
   

2. 进入克隆的存储库，并运行以下命令以安装所需的依赖：

   pip install -r requirements.txt
   

3. 使用以下命令启动 Jupyter Notebook：

   jupyter notebook
   

4. 在 Jupyter Notebook 中，导航到存储库并打开所需的笔记本。

欢迎贡献

该项目欢迎各类贡献。如果您发现任何错误，或者有改进建议，或想补充教材内容，欢迎提交拉取请求。

鸣谢

感谢 Andrej Karpathy 创作并分享“神经网络：从零到英雄”教程系列。此项目的材料得以存在，全靠他的热忱和专业精神。欲了解更多 Andrej 的作品，欢迎访问他的 GitHub 和 Twitter。

许可证

该仓库的内容使用 MIT 许可证授权。可将所提供的材料用于教育用途，但请在使用时注明原始内容的归属给 Andrej Karpathy，并附上教程系列的链接。