nngen

NNgen 项目介绍

什么是NNgen？

NNgen 是一个开源编译器，专为深度神经网络(DNN) 生成定制硬件加速器而设计。它从输入的模型定义中，生成 DNN 加速器的 Verilog HDL 源代码和 IP-core 包(IP-XACT)。生成的硬件涵盖所有处理要素，包括处理引擎、片上存储器、片上网络、DMA 控制器和控制电路。因此，一旦硬件启动处理，就无需外部电路或 CPU 的其他控制。

NNgen 的后台使用了 Veriloggen，这是一个混合范式的高层次合成编译器，采用 Python 语言编写。因此，用户可以根据新的 DNN 算法和应用自定义 NNgen。

贡献与协作

NNgen 项目欢迎所有关于问题、bug 报告、功能建议以及代码贡献的意见和参与。社区经理负责领导和促进软件开发及传播。项目的提交者需要社区经理的批准，贡献可以是代码贡献、代码评审、文档编写或教育推广。活跃的贡献者可以被选为评审员，帮助审阅新贡献的代码，以保持项目的高质量。如果你有任何问题或建议，可以在 GitHub 的 issue 区留言。如果想提交代码贡献，请参考 "CONTRIBUTORS.md" 文件并附带相应的测试例。

安装说明

必要软件

要使用 NNgen，你需要准备如下软件：

• Python 3.7.7 及以上版本（建议 macOS 使用 3.10.6 及以上版本）。

• Icarus Verilog 10.1 或更高版本。

  安装 Icarus Verilog：

  sudo apt install iverilog
  

• veriloggen 2.3.0 或更高版本

• numpy 1.17 或更高版本

• onnx 1.9.0 或更高版本

  安装 Python 包：

  pip3 install veriloggen numpy onnx
  

然后，通过以下命令安装 NNgen：

python3 setup.py install

可选软件

如果需要进行自动测试和文件文档生成，可以安装以下软件：

• pytest 3.8.1 或更高版本

• pytest-pythonpath 0.7.3 或更高版本

• PyTorch 1.3.1 或更高版本

• torchvision 0.4.2 或更高版本

  安装 Python 包：

  pip3 install pytest pytest-pythonpath torch torchvision
  

• Verilator 3.916 或更高版本

  安装 Verilator：

  sudo apt install verilator
  

• TeX Live 2015 或更高版本，用于文档生成

• dvipng 1.15 或更高版本

  安装 TeX Live 和 dvipng：

  sudo apt install texlive-science texlive-fonts-recommended texlive-fonts-extra dvipng
  

• Sphinx 2.10 或更高版本

• sphinx_rtd_theme 0.4.3 或更高版本

  安装 Sphinx：

  pip3 install sphinx sphinx_rtd_theme
  

示例与测试

NNgen 包含多个示例，你可以在 examples 文件夹下找到。还有各种测试代码在 tests 文件夹中，这些测试代码同时也提供了如何创建和使用所需功能的简要示例。

运行测试代码：

cd tests
python3 -m pytest .

如果你使用 Verilator 而非 Icarus Verilog 进行 RTL 仿真，可以设置 "--sim" 选项：

python3 -m pytest --sim=verilator .

快速入门

NNgen 的使用可以从一个简单的例子开始。完整的示例代码见 hello_nngen.py。

(1) 使用 NNgen 操作符构建 DNN 模型

在 NNgen 中，DNN 模型通过类似“定义并运行”的方式定义。用户可以通过 NNgen 操作符链构建 DNN 模型。

(2) 为 NNgen 操作符分配量化权重

构建的 NNgen 操作符初始时不包括权重值。为了在软件中以整数精度验证 NNgen 数据流，必须通过 set_value 方法将权重值赋予每个 ng.variable。

(3) 分配硬件属性

缺省的硬件组织方式没有适当的并行化。可通过每个操作符的 attribute 方法来配置各种方向上的并行性以及右移操作。

(4) 通过软件执行验证 DNN 模型行为

在赋予权重值后，NNgen 数据流可以作为软件执行，从而验证量化的 DNN 模型。

(5) 将 NNgen 数据流转换为硬件描述（Verilog HDL 和 IP-XACT）

配置完成后，NNgen 数据流可以被转换为实际的硬件描述语言或 IP-XACT 格式。

(6) 通过 Veriloggen 和 Verilog 仿真器模拟生成的硬件

生成的硬件可以通过 Veriloggen 和 Verilog 仿真器进行仿真，验证其行为。

通过以上步骤，用户可以从定义的 DNN 模型生成定制化的硬件加速器并进行仿真和验证。