neural-fortran
一个并行深度学习框架。 在这里阅读相关论文。
特性
- 密集(全连接)和卷积神经网络的训练和推理
- 随机梯度下降优化器:经典、动量、Nesterov动量、RMSProp、Adagrad、Adam、AdamW
- 十多种激活函数及其导数
- 损失函数和评估指标:二次、均方误差、皮尔逊相关系数等
- 从Keras HDF5 (.h5)文件加载密集和卷积模型
- 基于数据的并行性
可用层
层类型 | 构造函数名 | 支持的输入层 | 输出数组的秩 | 前向传播 | 反向传播 |
---|---|---|---|---|---|
输入 | input | 不适用 | 1, 3 | 不适用 | 不适用 |
密集(全连接) | dense | input1d , flatten | 1 | ✅ | ✅ |
卷积(2维) | conv2d | input3d , conv2d , maxpool2d , reshape | 3 | ✅ | ✅(*) |
最大池化(2维) | maxpool2d | input3d , conv2d , maxpool2d , reshape | 3 | ✅ | ✅ |
展平 | flatten | input3d , conv2d , maxpool2d , reshape | 1 | ✅ | ✅ |
重塑(1维到3维) | reshape | input1d , dense , flatten | 3 | ✅ | ✅ |
(*) 关于MNIST数据集上CNN训练不收敛的问题,请参见Issue #145。
入门
获取代码:
git clone https://github.com/modern-fortran/neural-fortran
cd neural-fortran
依赖项
必需的依赖项有:
- Fortran编译器
- HDF5 (必须由操作系统包管理器提供或自行从源代码构建)
- functional-fortran、 h5fortran、 json-fortran (均由neural-fortran的构建系统处理,无需手动安装)
- fpm或 CMake用于构建代码
可选的依赖项有:
- OpenCoarrays(用于GFortran的并行执行)
- BLAS、MKL或类似库(用于卸载
matmul
和dot_product
调用) - curl(用于下载测试和示例数据集)
经测试的编译器包括:
- gfortran-9.4.0
- ifort-2021.4
- ifx-2021.4
使用fpm构建
串行模式构建
使用gfortran,以下命令将创建neural-fortran的优化构建:
fpm build \
--profile release \
--flag "-I$HDF5INC -L$HDF5LIB"
HDF5现在是必需的依赖项,所以你必须为fpm提供它。
上述命令假设环境变量HDF5INC
和HDF5LIB
分别设置为HDF5安装的include和库路径。
如果你使用Conda,以下说明适用:
conda create -n nf hdf5
conda activate nf
fpm build --profile release --flag "-I$CONDA_PREFIX/include -L$CONDA_PREFIX/lib -Wl,-rpath -Wl,$CONDA_PREFIX/lib"
fpm test --profile release --flag "-I$CONDA_PREFIX/include -L$CONDA_PREFIX/lib -Wl,-rpath -Wl,$CONDA_PREFIX/lib"
并行模式构建
如果你使用GFortran并想要以并行方式运行neural-fortran,你必须首先安装OpenCoarrays。安装完成后,使用编译器包装器caf
和cafrun
分别进行构建和并行执行:
fpm build \
--compiler caf \
--profile release \
--flag "-I$HDF5INC -L$HDF5LIB"
使用fpm进行测试
fpm test \
--profile release \
--flag "-I$HDF5INC -L$HDF5LIB"
目前,你需要为fpm test
指定与fpm build
相同的编译器标志,以便fpm知道应该使用相同的构建配置。
有关fpm的更多信息,请参见Fortran Package Manager。
使用CMake构建
串行模式构建
mkdir build
cd build
cmake .. -DSERIAL=1
make
测试和示例将在bin/
目录中构建。
并行模式构建
如果你使用GFortran并想要以并行方式运行neural-fortran,你必须首先安装OpenCoarrays。安装完成后,使用编译器包装器caf
和cafrun
分别进行构建和并行执行:
FC=caf cmake ..
make
cafrun -n 4 bin/mnist # 在4个核心上运行MNIST示例
使用不同的编译器构建
如果你想使用不同的编译器(如Intel Fortran)进行构建,请将HDF5_ROOT
环境变量设置为Intel HDF5构建的根路径,并在执行cmake
时指定FC
:
FC=ifort cmake ..
用于neural-fortran的并行构建,或
FC=ifort cmake .. -DSERIAL=1
用于串行构建。
使用BLAS或MKL构建
要使用外部BLAS或MKL库进行matmul
调用,请像这样运行cmake:
cmake .. -DBLAS=-lblas
其中-DBLAS
的值应指向所需的BLAS实现,该实现必须在链接路径中可用。
此选项目前仅适用于gfortran。
以调试模式构建
要启用调试标志进行构建,请键入:
cmake .. -DCMAKE_BUILD_TYPE=debug
使用CMake运行测试
键入:
ctest
来运行测试。
在你的项目中使用neural-fortran
你可以使用这里提供的CMake模块在配置项目时查找或获取此项目的安装。这个模块确保无论neural-fortran如何包含在项目中,始终生成neural-fortran::neural-fortran
目标。
你可以在包含子项目之前设置适当的选项来配置neural-fortran。
以下内容应添加到你的目录的CMake文件中:
if(NOT TARGET "neural-fortran::neural-fortran")
find_package("neural-fortran" REQUIRED)
endif()
示例
了解如何使用neural-fortran的最简单方法是查看示例,按复杂度递增的顺序:
- simple:近似简单的常数数据关系
- sine:近似正弦函数
- dense_mnist:使用密集(全连接)网络进行手写数字识别(MNIST数据集)
- cnn_mnist:在MNIST数据集上训练CNN
- dense_from_keras:从Keras HDF5文件创建预训练的密集模型并运行推理
- cnn_from_keras:从Keras HDF5文件创建预训练的卷积模型并运行推理
- get_set_network_params:获取和设置网络的超参数
这些示例还展示了应用程序中应使用的公共API的范围,即来自nf
模块的任何内容。
示例3-6依赖curl来下载所需的数据集,因此请确保您的系统上已安装它。大多数Linux操作系统默认都有它。在任何给定目录中,第一次运行示例时才会下载数据集。
如果您使用Windows操作系统或由于任何其他原因没有curl,请直接下载mnist.tar.gz并在运行示例程序的目录中解压。
API文档
API文档可以使用FORD生成。假设您的系统上已安装FORD,从neural-fortran顶级目录运行以下命令生成API文档:
ford ford.md
生成的API文档将位于doc/html目录中。在浏览器中打开doc/html/index.html即可阅读。
贡献
这个贡献指南简要描述了代码组织。如果您想为neural-fortran贡献新功能,阅读它可能会有所帮助。
致谢
感谢所有为neural-fortran做出贡献的开源贡献者: awvwgk、 ggoyman、 ivan-pi、 jacobwilliams、 jvdp1、 jvo203、 milancurcic、 pirpyn、 rouson、 rweed、 Spnetic-5 和scivision。
neural-fortran中卷积网络和Keras HDF5适配器的开发由NASA戈达德航天中心与迈阿密大学的合同资助。 优化器的开发得到了2023年谷歌编程之夏项目对Fortran-lang的支持。
相关项目
-
Jordan Ott 开发的 Fortran Keras Bridge (FKB) 提供了一个 Python 桥接器,连接旧版(v0.1.0)neural-fortran 风格的保存文件和 Keras 的 HDF5 模型。从 v0.9.0 版本开始,neural-fortran 使用纯 Fortran 实现了 FKB 的全部功能集,并且还支持卷积网络的训练和推理。
-
Peter Ukkonen 开发的 rte-rrtmgp-nn 是基于旧版(v0.1.0)neural-fortran 的实现,它优化了密集层的内存布局以及前向和后向传播,以提高速度并在 GPU 上运行。
-
推理引擎是由伯克利实验室的计算机语言和系统软件(CLaSS)小组开发的。
影响
Neural-fortran 已在十多项已发表的研究中成功应用。您可以在这里查看所有引用它的论文。