Github
论文本仓库包含了机器学习硬件架构的源代码，通过执行替代的内积算法，这些算法用近一半的廉价低位宽加法替代乘法运算，同时仍然产生与传统内积相同的输出，从而只需要近一半数量的乘法器单元就能实现相同的性能。这提高了机器学习加速器的理论吞吐量和计算效率限制。详细内容请参见以下期刊论文：
T. E. Pogue 和 N. Nicolici，"面向深度神经网络加速器的快速内积算法和架构"，发表于IEEE计算机汇刊，第73卷，第2期，第495-509页，2024年2月，doi: 10.1109/TC.2023.3334140。
论文链接：https://ieeexplore.ieee.org/document/10323219
开放获取版本：https://arxiv.org/abs/2311.12224
摘要：我们提出了一种名为自由流水线快速内积（FFIP）的新算法及其硬件架构，对Winograd在1968年提出的一种未被充分探索的快速内积算法（FIP）进行了改进。与用于卷积层的无关的Winograd最小滤波算法不同，FIP适用于所有可以主要分解为矩阵乘法的机器学习模型层，包括全连接层、卷积层、循环层和注意力/transformer层。我们首次在机器学习加速器中实现了FIP，然后提出了我们的FFIP算法和通用架构，它们本质上提高了FIP的时钟频率，从而在相似的硬件成本下提高了吞吐量。最后，我们为FIP和FFIP算法和架构贡献了特定于机器学习的优化。我们展示了FFIP可以无缝地整合到传统的定点系统阵列机器学习加速器中，使用一半数量的乘累加（MAC）单元就能达到相同的吞吐量，或者可以将能够适应固定硬件预算设备的最大系统阵列大小翻倍。我们针对8位到16位定点输入的非稀疏机器学习模型的FFIP实现，在相同类型的计算平台上实现了比最佳同类解决方案更高的吞吐量和计算效率。
以下图表展示了本源代码中实现的机器学习加速器系统概览：
下图中(b)和(c)所示的FIP和FFIP系统阵列/MXU处理单元（PE）实现了FIP和FFIP内积算法，每个单独提供的有效计算能力相当于(a)中所示的两个基线PE的组合，这两个基线PE实现了之前系统阵列机器学习加速器中的基线内积：
以下是MXU/系统阵列的图表，展示了PE之间的连接方式：
源代码组织如下：
- compiler
- 用于将Python模型描述解析为加速器指令的编译器，使其能够加速模型。这部分还包括与PCIe驱动程序接口的代码，用于启动加速器上的模型执行、读取结果和性能计数器，以及测试结果的正确性。
- rtl
- 可综合的SystemVerilog RTL。
- sim
- 用于设置仿真环境进行测试的脚本。
- tests
- 基于UVM的测试台源代码，用于在仿真中使用Cocotb验证加速器。
- utils
- 作者为该项目创建的额外Python包和脚本，用于通用开发实用程序和辅助工具。
文件rtl/top/define.svh和rtl/top/pkg.sv包含了许多可配置参数，如define.svh中的FIP_METHOD定义系统阵列类型（基线、FIP或FFIP），SZI和SZJ定义系统阵列高度/宽度，以及LAYERIO_WIDTH/WEIGHT_WIDTH定义输入位宽。
目录rtl/arith包括mxu.sv和mac_array.sv，其中包含基线、FIP和FFIP系统阵列架构的RTL（取决于参数FIP_METHOD的值）。
