HugeCTR

HugeCTR是一个GPU加速的推荐框架，专为大型深度学习模型的训练和推理而设计。

设计目标：

• 快速：HugeCTR在包括MLPerf在内的推荐基准测试中表现出色。
• 简单：无论您是数据科学家还是机器学习从业者，我们都为任何人使用HugeCTR提供了大量的文档、笔记本和示例，使其变得简单易用。
• 领域特定：HugeCTR提供核心功能，使您能够高效地部署具有超大嵌入的推荐模型。

注意：如果您在使用HugeCTR时有任何问题，请提交issue或加入我们的Slack频道进行更多互动讨论。

目录

• 核心功能
• 入门指南
• HugeCTR SDK
• 支持和反馈
• 为HugeCTR做贡献
• 其他资源

核心功能

HugeCTR支持多种功能，包括以下内容：

• 高级抽象Python接口
• 模型并行训练
• 优化的GPU工作流
• 多节点训练
• 混合精度训练
• 嵌入训练缓存
• GPU嵌入缓存
• 各种推理实例间的GPU / CPU内存共享机制
• HugeCTR到ONNX转换器
• 分层参数服务器
• 稀疏操作工具包

要了解我们最新的改进，请参阅我们的发布说明。

入门指南

如果您想快速使用Python接口训练模型，请按以下步骤操作：

1. 通过运行以下命令启动NGC容器，并挂载您的本地主机目录（/your/host/dir）：

   docker run --gpus=all --rm -it --cap-add SYS_NICE -v /your/host/dir:/your/container/dir -w /your/container/dir -it -u $(id -u):$(id -g) nvcr.io/nvidia/merlin/merlin-hugectr:24.06
   

   注意：/your/host/dir目录与**/your/container/dir目录一样可见。/your/host/dir**目录也是您的起始目录。

   注意：HugeCTR使用NCCL在不同排之间共享数据，NCCL可能需要共享内存用于IPC和锁定（页锁定）系统内存资源。建议您通过在docker run命令中添加以下选项来增加这些资源：

   -shm-size=1g -ulimit memlock=-1
   

2. 编写一个简单的Python脚本来生成合成数据集：

   # dcn_parquet_generate.py
   import hugectr
   from hugectr.tools import DataGeneratorParams, DataGenerator
   data_generator_params = DataGeneratorParams(
     format = hugectr.DataReaderType_t.Parquet,
     label_dim = 1,
     dense_dim = 13,
     num_slot = 26,
     i64_input_key = False,
     source = "./dcn_parquet/file_list.txt",
     eval_source = "./dcn_parquet/file_list_test.txt",
     slot_size_array = [39884, 39043, 17289, 7420, 20263, 3, 7120, 1543, 39884, 39043, 17289, 7420, 
                        20263, 3, 7120, 1543, 63, 63, 39884, 39043, 17289, 7420, 20263, 3, 7120,
                        1543 ],
     dist_type = hugectr.Distribution_t.PowerLaw,
     power_law_type = hugectr.PowerLaw_t.Short)
   data_generator = DataGenerator(data_generator_params)
   data_generator.generate()
   

3. 通过运行以下命令为您的DCN模型生成Parquet数据集：

   python dcn_parquet_generate.py
   

   注意：生成的数据集将位于./dcn_parquet文件夹中，其中包含训练和评估数据。

4. 编写一个简单的Python训练脚本:

   # dcn_parquet_train.py
   import hugectr
   from mpi4py import MPI
   solver = hugectr.CreateSolver(max_eval_batches = 1280,
                                 batchsize_eval = 1024,
                                 batchsize = 1024,
                                 lr = 0.001,
                                 vvgpu = [[0]],
                                 repeat_dataset = True)
   reader = hugectr.DataReaderParams(data_reader_type = hugectr.DataReaderType_t.Parquet,
                                    source = ["./dcn_parquet/file_list.txt"],
                                    eval_source = "./dcn_parquet/file_list_test.txt",
                                    slot_size_array = [39884, 39043, 17289, 7420, 20263, 3, 7120, 1543, 39884, 39043, 17289, 7420, 
                                                      20263, 3, 7120, 1543, 63, 63, 39884, 39043, 17289, 7420, 20263, 3, 7120, 1543 ])
   optimizer = hugectr.CreateOptimizer(optimizer_type = hugectr.Optimizer_t.Adam,
                                       update_type = hugectr.Update_t.Global)
   model = hugectr.Model(solver, reader, optimizer)
   model.add(hugectr.Input(label_dim = 1, label_name = "label",
                           dense_dim = 13, dense_name = "dense",
                           data_reader_sparse_param_array =
                           [hugectr.DataReaderSparseParam("data1", 1, True, 26)]))
   model.add(hugectr.SparseEmbedding(embedding_type = hugectr.Embedding_t.DistributedSlotSparseEmbeddingHash,
                              workspace_size_per_gpu_in_mb = 75,
                              embedding_vec_size = 16,
                              combiner = "sum",
                              sparse_embedding_name = "sparse_embedding1",
                              bottom_name = "data1",
                              optimizer = optimizer))
   model.add(hugectr.DenseLayer(layer_type = hugectr.Layer_t.Reshape,
                              bottom_names = ["sparse_embedding1"],
                              top_names = ["reshape1"],
                              leading_dim=416))
   model.add(hugectr.DenseLayer(layer_type = hugectr.Layer_t.Concat,
                              bottom_names = ["reshape1", "dense"], top_names = ["concat1"]))
   model.add(hugectr.DenseLayer(layer_type = hugectr.Layer_t.MultiCross,
                              bottom_names = ["concat1"],
                              top_names = ["multicross1"],
                              num_layers=6))
   model.add(hugectr.DenseLayer(layer_type = hugectr.Layer_t.InnerProduct,
                              bottom_names = ["concat1"],
                              top_names = ["fc1"],
                              num_output=1024))
   model.add(hugectr.DenseLayer(layer_type = hugectr.Layer_t.ReLU,
                              bottom_names = ["fc1"],
                              top_names = ["relu1"]))
   model.add(hugectr.DenseLayer(layer_type = hugectr.Layer_t.Dropout,
                              bottom_names = ["relu1"],
                              top_names = ["dropout1"],
                              dropout_rate=0.5))
   model.add(hugectr.DenseLayer(layer_type = hugectr.Layer_t.Concat,
                              bottom_names = ["dropout1", "multicross1"],
                              top_names = ["concat2"]))
   model.add(hugectr.DenseLayer(layer_type = hugectr.Layer_t.InnerProduct,
                              bottom_names = ["concat2"],
                              top_names = ["fc2"],
                              num_output=1))
   model.add(hugectr.DenseLayer(layer_type = hugectr.Layer_t.BinaryCrossEntropyLoss,
                              bottom_names = ["fc2", "label"],
                              top_names = ["loss"]))
   model.compile()
   model.summary()
   model.graph_to_json(graph_config_file = "dcn.json")
   model.fit(max_iter = 5120, display = 200, eval_interval = 1000, snapshot = 5000, snapshot_prefix = "dcn")
   

   注意：确保合成数据集的路径相对于这个Python脚本是正确的。data_reader_type、check_type、label_dim、dense_dim和data_reader_sparse_param_array应与生成的数据集保持一致。

5. 通过运行以下命令来训练模型：

   python dcn_parquet_train.py
   

   注意：由于使用的是随机生成的数据集，因此假定评估AUC值是不正确的。当训练完成后，将生成包含导出的图形JSON、保存的模型权重和优化器状态的文件。

更多信息，请参阅HugeCTR用户指南。

HugeCTR SDK

我们能够通过导出重要的HugeCTR组件来支持无法直接使用HugeCTR的外部开发者：

• 稀疏操作工具包 目录 | 文档：一个为稀疏训练/推理场景设计的GPU加速操作的Python包。
• GPU嵌入缓存：为CTR推理工作负载设计的可用于GPU内存的嵌入缓存。

支持和反馈

如果您遇到任何问题或有疑问，请访问https://github.com/NVIDIA/HugeCTR/issues并提交问题，以便我们能够为您提供必要的解决方案和答案。为了进一步推进HugeCTR的路线图，我们鼓励您使用这个调查问卷分享有关您的推荐系统管道的所有详细信息。

为HugeCTR做贡献

HugeCTR是一个开源项目，我们欢迎公众的贡献。通过您的贡献，我们可以继续提高HugeCTR的质量和性能。要了解如何贡献，请参阅我们的HugeCTR贡献者指南。

其他资源

出版物

Yingcan Wei, Matthias Langer, Fan Yu, Minseok Lee, Jie Liu, Ji Shi and Zehuan Wang, "针对大规模深度推荐模型的GPU专用推理参数服务器,"第16届ACM推荐系统会议论文集，第408-419页，2022年。

Zehuan Wang, Yingcan Wei, Minseok Lee, Matthias Langer, Fan Yu, Jie Liu, Shijie Liu, Daniel G. Abel, Xu Guo, Jianbing Dong, Ji Shi and Kunlun Li, "Merlin HugeCTR：GPU加速的推荐系统训练和推理,"第16届ACM推荐系统会议论文集，第534-537页，2022年。

演讲

博客