访问官网
Github
文档
论文TonY 项目简介
TonY 是一个专为在 Apache Hadoop 上 原生 运行深度学习任务而设计的框架。当前，TonY 支持多种常用深度学习框架，包括 TensorFlow、PyTorch、MXNet 和 Horovod。TonY 能够将单节点或分布式训练作为一个 Hadoop 应用程序运行，凭借其原生连接器及多样化功能，TonY 旨在提供可靠而灵活的机器学习任务执行环境。
兼容性说明
TonY 与 Hadoop 2.6.0（CDH5.11.0）及以上版本兼容。如果需要 TonY 提供 GPU 隔离功能，Hadoop 需要升级至 2.10 或更高版本（适用于 Hadoop 2），或 3.1.0 或更高版本（适用于 Hadoop 3）。
构建流程
TonY 使用 Gradle 构建。构建过程会自动运行测试，如不需要运行测试，则可以使用 ./gradlew build -x test 命令。另外，TonY 所需的 Jar 文件将会放置在 ./tony-cli/build/libs/ 目录下。
使用方法
TonY 提供两种启动深度学习任务的方式：
- 使用压缩过的 Python 虚拟环境。
- 使用 Docker 容器。
使用压缩的 Python 虚拟环境
这种方式避免了在 Hadoop 群集上设置 Docker 支持的需求。同时，也不需要 Docker 镜像仓库。然而，需要注意的是，TonY 运行的群集的操作系统版本必须与生成 Python 虚拟环境的计算机相同。
示例: 使用 Python 虚拟环境
在这个方法中，用户需要准备一个打包好的虚拟环境文件，并设置相关的 tony.xml 文件以配置任务的运行资源。
MyJob/
> src/
> models/
mnist_distributed.py
tony.xml
tony-cli-0.4.7-all.jar
my-venv.zip
在配置文件中详细指定工作节点实例数量、内存、GPU 使用等参数。任务启动命令如下：
java -cp "`hadoop classpath --glob`:MyJob/*:MyJob" \
com.linkedin.tony.cli.ClusterSubmitter \
-executes models/mnist_distributed.py \
-task_params '--input_dir /path/to/hdfs/input --output_dir /path/to/hdfs/output \
-python_venv my-venv.zip \
-python_binary_path Python/bin/python \
-src_dir src
使用 Docker 容器
使用 Docker 容器需要用户已在群集上正确配置 Docker 支持，并创建包含必要的依赖项如 TensorFlow 或 PyTorch 的 Docker 镜像。同样需要设置任务的 tony.xml 配置文件来启用 Docker 及其相关参数：
MyJob/
> src/
> models/
mnist_distributed.py
tony.xml
tony-cli-0.4.7-all.jar
例子命令如下：
java -cp "`hadoop classpath --glob`:MyJob/*:MyJob/" \
com.linkedin.tony.cli.ClusterSubmitter \
-executes models/mnist_distributed.py \
-task_params '--input_dir /path/to/hdfs/input --output_dir /path/to/hdfs/output' \
-src_dir src \
-python_binary_path /home/user_name/python_virtual_env/bin/python
TonY 参数与配置
TonY 提供了一系列命令行参数，使用户可以方便地指定任务的必要信息如输入脚本位置、源代码目录、配置文件路径等，同时支持通过命令行覆盖配置文件中的设置。
配置任务有多种方式，包括使用tony.xml文件、通过命令行参数-conf_file指定其它配置文件，以及通过命令行直接覆盖配置项。
示例与文档
TonY 提供丰富的示例以帮助用户快速上手，例如使用 TensorFlow 或 PyTorch 进行分布式 MNIST 训练。用户还可以通过 TonY 的 Wiki 文档 获取更深入的配置详情和参数说明。
总的来说，TonY 框架为用户在 Hadoop 上进行深度学习任务提供了强大的支持，其高兼容性与灵活性让复杂机器学习任务的调度与管理变得更加简单。TonY 是一个不断发展的开源项目，欢迎所有开发者参与贡献和改进。
