电子表格就是你所需要的（已添加Excel版本！）

装在电子表格中的nanoGPT管道

这是我为了帮助自己理解GPT工作原理而做的一个项目。玩起来非常有趣，尤其是当你试图弄清楚变形金刚内部究竟发生了什么。这帮助我可视化整个结构和数据流。内部所有的机制、计算和矩阵都是完全交互式和可配置的。

在阅读关于LLM的资料时，我意识到变形金刚的内部机制基本上是一系列按特定顺序连接的矩阵计算。我开始想知道整个过程是否可以用电子表格来表示，因为所有的计算都相当简单。我是一个视觉思考者，我想不出更好的方法来做这件事。然后经过一些尝试和错误，我把nanoGPT架构的完整推理管道写进了一个电子表格。忘掉Python吧，事实证明电子表格就是你所需要的。

这是电子表格的完整视图 电子表格就是你所需要的

放大变形金刚的核心--自注意力

你会看到哪些组件

它包含了所有的变形金刚组件，包括：

嵌入
层归一化
自注意力
投影
MLP
softmax
logits

它基于Andrej Karpathy的NanoGPT结构，包含大约85000个参数。这显然是一个非常小的规模，但它既复杂到足以让我理解它是如何工作的，又不至于大到让我的电脑崩溃。与chatgpt相比，这个项目是一个基于字符的预测系统，这意味着每个token都是一个字符，为了降低复杂性，只对字母A/B/C进行标记化。

还包括什么

在Numbers文件"nanoGPT.numbers"中，你会看到两个标签页，一个叫"no weights"，一个叫"random weights"。它们本质上是同一个东西，只是"random weights"标签页中的所有参数都是随机生成的，而"no weights"标签页中的参数非常整齐，它显示了管道中的奇怪值，但也更清晰，有助于你阅读。这就是为什么我保留了两者。由于电子表格软件的内部机制，每次你在"random weights"标签页更新电子表格时，所有的值都会重新生成（这会让电脑冻结几秒钟，因为有很多计算，这有点烦人，但你可以通过把所有的值变成静态值来避免这种情况）。

电子表格不包含实际训练过的权重和参数，所以在你更新参数之前，你不应该期望它能为你计算出正确的结果。

你可能还在想是否有Excel或Google Sheets版本，很遗憾，目前还没有。这仅仅是因为整个管道太大了，我需要多个表格来组织所有内容，而只有Numbers能做到这一点。我会看看是否能在不久的将来用Excel重新创建这个（现在已经添加了，只需查看列表中的Excel文件）。

如何阅读/使用它

首先，所有的块都是通过GPT架构处理的值或参数，它们被标记为紫色、绿色和橙色。

紫色：这些是应该被训练模型参数替换的参数。绿色：这些是从输入开始并转化为最终结果的值。橙色：这些只是用于计算的中间值，它们在这里是为了减少混淆。

其次，你应该从顶部开始一直到底部，页面左侧有标签显示你所处的阶段。有三个标记为0/1/2的变形金刚，每个都有相同的结构，应该包含不同的参数，数据将按顺序通过所有这些。

最后，这个演示在很大程度上得益于Brendan Bycroft的LLM可视化项目(https://bbycroft.net/llm)，该项目使用3D动画来解释变形金刚。我保留了它使用的例子，是关于字母排序的。

如果你使用最近添加的Excel版本，你会注意到它可能看起来与附带的图片相同，这是由于Excel无法在一个页面上包含多个表格的限制，为了更清晰，我添加了"MAP"标签页和"Visual Structure of the pipeline"标签页，这两个将给你一个菜单和架构的大致布局，你可以点击链接跳转到页面，并使用每个页面左上角的返回链接回来。