glow - 开源机器学习编译器和执行引擎

Glow标志

Glow是一个面向硬件加速器的机器学习编译器和执行引擎。它被设计用作高级机器学习框架的后端。该编译器旨在对神经网络图进行最先进的编译器优化和代码生成。这个库正在积极开发中。项目计划在Github的issues部分和路线图维基页面中有所描述。

合作伙伴

我们欢迎并鼓励对Glow的贡献！Glow与以下合作伙伴共同开发：

它是如何工作的？

Glow将传统的神经网络数据流图降低为两阶段的强类型中间表示（IR）。高级IR允许优化器执行特定领域的优化。基于指令的仅地址低级IR允许编译器执行与内存相关的优化，如指令调度、静态内存分配和复制消除。在最低级别，优化器执行特定机器的代码生成，以利用专门的硬件功能。Glow具有降低阶段，使编译器能够支持大量输入操作符以及大量硬件目标，从而消除了在所有目标上实现所有操作符的需求。降低阶段旨在减少输入空间，并允许新的硬件后端专注于少量的线性代数原语。设计理念在arXiv论文中有所描述。

入门指南

系统要求

Glow可在macOS和Linux上构建和运行。该软件依赖于支持C++11的现代C++编译器、CMake、LLVM（>=7.0）、glog、protocol buffers和libpng。

获取Glow！

git clone git@github.com:pytorch/glow.git  # 或者：git clone https://github.com/pytorch/glow.git
cd glow

子模块

Glow依赖于几个子模块：googletest、onnx和一个用于FP16转换的库。

要获取它们，从glow目录运行：

git submodule update --init --recursive

源依赖

Glow依赖于fmt，必须从源代码构建：

git clone https://github.com/fmtlib/fmt
mkdir fmt/build
cd fmt/build
cmake ..
make
sudo make install

macOS

使用Homebrew或MacPorts安装所需的依赖项。如果使用Homebrew，运行：

brew install cmake graphviz libpng ninja protobuf wget glog autopep8 llvm   \
    boost double-conversion gflags jemalloc libevent lz4 openssl pkg-config \
    snappy xz

如果使用MacPorts，运行：

port install cmake graphviz libpng ninja protobuf-cpp wget google-glog \
    boost double-conversion gflags jemalloc libevent lz4 openssl snappy xz
# 选择版本 >= 7
export LLVM_VERSION=7
port install llvm-$LLVM_VERSION.0

请注意，LLVM安装在非默认位置，以避免与系统的LLVM冲突 -- Homebrew通常将LLVM安装在/usr/local/opt/llvm/，而MacPorts将其安装在/opt/local/libexec/llvm-$LLVM_VERSION.0/。这意味着在构建时需要告诉CMake在哪里找到LLVM；相关说明可以在这里找到。

最后，创建一个指向Homebrew或MacPorts安装的clang-*工具的符号链接，以便utils/format.sh脚本稍后能够找到它们。对于Homebrew管理的安装，运行：

ln -s "/usr/local/opt/llvm/bin/clang-format" "/usr/local/bin/clang-format"
ln -s "/usr/local/opt/llvm/bin/clang-tidy" "/usr/local/bin/clang-tidy"

对于MacPorts，运行：

ln -s "/opt/local/libexec/llvm-$LLVM_VERSION.0/bin/clang-format" "/usr/local/bin/clang-format"
ln -s "/opt/local/libexec/llvm-$LLVM_VERSION.0/bin/clang-tidy" "/usr/local/bin/clang-tidy"

注意： 从macOS Mojave开始，Xcode的命令行工具改变了头文件布局。为了让Glow在Mojave上构建，您可能需要安装 macOS_SDK_headers_for_macOS_10.14.pkg，位于 /Library/Developer/CommandLineTools/Packages/。对于macOS Catalina，您可能需要明确指定SDKROOT： export SDKROOT="/Library/Developer/CommandLineTools/SDKs/MacOSX.sdk"

Ubuntu

[以下说明已在Ubuntu 16.04和18.04上测试过]

为了在Ubuntu上构建Glow，需要安装一些软件包。以下命令应该能安装所需的依赖项：

sudo apt-get install clang clang-8 cmake graphviz libpng-dev \
    libprotobuf-dev llvm-8 llvm-8-dev ninja-build protobuf-compiler wget \
    opencl-headers libgoogle-glog-dev libboost-all-dev \
    libdouble-conversion-dev libevent-dev libssl-dev libgflags-dev \
    libjemalloc-dev libpthread-stubs0-dev liblz4-dev libzstd-dev libbz2-dev \
    libsodium-dev libfmt-dev

[注意：Ubuntu 16.04和18.04自带llvm-6，在构建Glow之前需要升级。在Ubuntu 16.04上使用llvm-7构建Glow会失败，因为llvm-7 xenial发行版使用较旧的c++ ABI，但在Ubuntu 18.04上使用llvm-7构建Glow已经过测试并成功]

可能需要使用update-alternatives来管理clang/clang++的版本：

sudo update-alternatives --install /usr/bin/clang clang \
    /usr/lib/llvm-8/bin/clang 50
sudo update-alternatives --install /usr/bin/clang++ clang++ \
    /usr/lib/llvm-8/bin/clang++ 50

Glow使用系统默认的C/C++编译器（/usr/bin/c++），因此您可能还想将默认的C/C++编译器切换到clang：

sudo update-alternatives --config cc
    # 选择对应 /usr/bin/clang 的选项...
sudo update-alternatives --config c++
    # 选择对应 /usr/bin/clang++ 的选项...

Glow 应该可以用gcc正常编译(例如gcc 5.4),但我们主要使用clang,并且更注重与clang的兼容性。

最后,为了支持ONNX网络序列化格式,Glow需要protobuf >= 2.6.1,但上述命令可能会在旧版Ubuntu(如14.04)上安装较旧的版本。如果是这种情况,我们建议查看utils/install_protobuf.sh从源代码安装更新版本。

有关在Ubuntu上安装OpenCL的详细信息,请参阅这些说明。

配置和构建

要构建编译器,请创建一个构建目录并在源目录上运行cmake。最好构建两种配置(Release和Debug),因为有些程序在Debug模式下运行时间会非常长。同时最好在源目录之外构建项目。

mkdir build_Debug
cd build_Debug
cmake -G Ninja -DCMAKE_BUILD_TYPE=Debug ../glow
ninja all

可以使用任何CMake生成器(如GNU Makefiles、Ninja和Xcode build)来配置和构建编译器。

有关特定平台的构建说明和高级选项(如使用Address-Sanitizers构建),请参阅本指南: 构建编译器。

如果你运行的是macOS v10.14 (Mojave)且ninja all由于找不到头文件(如string.h)而失败,请运行以下命令修复并重试。更多信息请参见这里的"Command Line Tools"部分。

open /Library/Developer/CommandLineTools/Packages/macOS_SDK_headers_for_macOS_10.14.pkg

对于macOS v10.15 (Catalina),你可能需要明确指定SDKROOT:

export SDKROOT="/Library/Developer/CommandLineTools/SDKs/MacOSX.sdk"

构建依赖项(LLVM)

默认情况下,Glow将使用系统提供的LLVM。请注意,Glow需要LLVM 7.0或更高版本。如果你在非默认位置安装了LLVM(例如,如果你在macOS上使用Homebrew安装),则需要使用-DLLVM_DIR告诉CMake在哪里找到llvm。例如,如果LLVM安装在/usr/local/opt:

cmake -G Ninja ../glow \
    -DCMAKE_BUILD_TYPE=Debug \
    -DLLVM_DIR=/usr/local/opt/llvm/lib/cmake/llvm

如果你的系统上没有LLVM,则需要手动构建。运行脚本/utils/build_llvm.sh以克隆、构建和在本地目录中安装LLVM。你需要使用-DLLVM_DIR标志配置Glow,以告诉构建系统在你安装LLVM的本地目录中找到它(例如,如果使用build_llvm.sh,则为-DLLVM_DIR=/path/to/llvm_install/lib/cmake/llvm)。

测试和运行

单元测试

该项目在tests/unittests子目录中有一些单元测试。要运行所有测试,只需运行ninja test。

C++ API示例

在examples/子目录下可以找到一些使用Glow的C++ API的测试程序。mnist、cifar10、fr2en和ptb程序分别训练和运行数字识别、图像分类和语言建模基准测试。

要运行这些程序,请以Release模式构建Glow,然后运行以下命令下载cifar10、mnist和ptb数据库。

python ../glow/utils/download_datasets_and_models.py --all-datasets

现在运行示例。请注意,数据库应该在当前工作目录中。

./bin/mnist
./bin/cifar10
./bin/fr2en
./bin/ptb
./bin/char-rnn

如果一切顺利,你应该会看到:

mnist: 来自mnist数字数据库的图片
cifar10: 图像分类结果稳步改善
fr2en: 一个交互式法语到英语翻译器
ptb: 随着网络训练,数据集上的困惑度降低
char-rnn: 根据某些文档生成随机文本

请注意,默认的构建模式是Debug,这意味着编译器本身易于调试,因为二进制文件包含调试信息、大量断言,并且优化被禁用。这也意味着编译器和运行时非常慢,执行时间可能比发布版本慢数百倍。如果你想对编译器进行基准测试、运行长时间基准测试或发布产品,则应该以Release模式编译编译器。有关更多详细信息,请查看主CMake文件。

有关测试和运行Glow的更多详细信息,请参见: 测试Glow编译器。