Github
Huggingface
文档
论文Merlin 模型
Merlin Models 库提供了推荐系统的标准模型，旨在提供从经典机器学习模型到高度先进的深度学习模型的高质量实现。
该库的目标是让业界用户能够轻松地训练和部署已经内置最佳实践的推荐模型。该库简化了业界用户如何针对自己的数据集训练标准模型，并将高性能、GPU 加速的模型投入生产的过程。该库还使研究人员能够通过整合深度学习推荐模型的标准组件来构建自定义模型，然后研究人员可以在示例离线数据集上对新模型进行基准测试。
在我们的初始版本中，Merlin Models 提供了 TensorFlow API。PyTorch API 已启动，但尚未完成。我们在 Transformer4Rec 库中为基于 transformer 的会话推荐系统提供了 PyTorch 支持。
Merlin Models 的优势
推荐系统模型实现 - 该库为推荐模型的经典和最先进的深度学习架构提供了高级 API。这些模型包括检索模型（如矩阵分解、双塔模型、YouTube DNN 等）和排序模型（如 DLRM、DCN-v2、DeepFM 等）。
构建模块 - 在 Merlin Models 中，推荐模型是基于可重用的构建模块构建的。这种设计使得组合这些模块来定义新的架构变得容易。该库提供了模型定义模块（MLP 层、分解层、输入模块、负采样器、损失函数）、训练模型（从 Parquet 文件加载数据）和评估（如排序指标）。
与 Merlin 平台的集成 - Merlin Models 与其他 Merlin 组件深度集成。例如，模型依赖于 NVTabular 进行预处理，并可以轻松地与 Merlin Systems 集成以进行推理。经过精心设计的集成使得构建高性能的端到端推荐系统流程变得简单直观。
Merlin Models 数据加载器 - Merlin 提供了与常见深度学习框架（如 TensorFlow、PyTorch 和 HugeCTR）的无缝集成。在训练深度学习推荐系统模型时，数据加载可能成为瓶颈。为了解决这个挑战，Merlin 开发了自定义的、高度优化的数据加载器，以加速现有的 TensorFlow 和 PyTorch 训练流程。Merlin 数据加载器可以使训练流程的速度提高九倍，比使用 GPU 的相同训练流程更快。
使用 Merlin 数据加载器，您可以：
- 通过一次处理大块数据而不是逐项处理来消除数据加载的瓶颈。
- 通过从磁盘流式传输来处理不适合 GPU 或 CPU 内存的数据集。
- 异步地将批次准备到 GPU 中，以避免 CPU 到 GPU 的通信。
- 通过使用类似的 API，轻松集成到现有的 TensorFlow 或 PyTorch 训练流程中。
要了解 Merlin Models 的核心功能，请参阅模型概述页面。
安装
使用 Pip 安装 Merlin Models
可以通过运行以下命令使用 pip 安装 Merlin Models：
pip install merlin-models
使用
pip安装Merlin Models不会安装一些额外的GPU依赖项，比如CUDA工具包。 当您在我们的Docker容器中运行Merlin Models时，这些依赖项已经预先安装好了。
包含Merlin Models的Docker容器
Merlin Models已包含在Merlin容器中。
请参阅Merlin容器文档页面，了解Merlin容器名称、NVIDIA GPU云目录中容器镜像的URL以及主要Merlin组件的相关信息。
从源代码安装Merlin Models
可以通过运行以下命令从源代码安装Merlin Models：
git clone https://github.com/NVIDIA-Merlin/models
cd models && pip install -e .
开始使用
Merlin Models使定义能够适应不同输入特征的架构变得简单直观。
这种适应性是建立在NVTabular库的核心特性之上的。
当您使用NVTabular进行特征工程时，NVTabular会创建一个识别输入特征的模式。
您可以通过查看从ETL到训练推荐系统模型 - NVTabular和Merlin Models集成示例示例笔记本来了解Schema对象的实际应用。
您可以轻松构建流行的推荐系统架构，如DLRM，如下面的代码示例所示。 定义模型后，您可以使用典型的Keras模型对其进行训练和评估。
import merlin.models.tf as mm
from merlin.io.dataset import Dataset
train = Dataset(PATH_TO_TRAIN_DATA)
valid = Dataset(PATH_TO_VALID_DATA)
model = mm.DLRMModel(
train.schema, # 1
embedding_dim=64,
bottom_block=mm.MLPBlock([128, 64]), # 2
top_block=mm.MLPBlock([128, 64, 32]),
prediction_tasks=mm.BinaryClassificationTask(train.schema) # 3
)
model.compile(optimizer="adagrad", run_eagerly=False)
model.fit(train, validation_data=valid, batch_size=1024)
eval_metrics = model.evaluate(valid, batch_size=1024, return_dict=True)
- 为了构建内部输入层，模型从模式对象中识别它们。 模式识别连续特征和分类特征，并为后者创建嵌入表。
- 为了定义架构的主体，使用了可配置维度的MLP层。
- 架构的头部由所选任务创建，在本例中为
BinaryClassificationTask。 目标二元特征也是从模式中推断出来的（即标记为'TARGET'）。
您可以在我们的深度学习推荐模型概述中找到更多详细信息和低级API的相关信息。
笔记本示例和教程
查看文档中的示例笔记本，以帮助您熟悉Merlin Models。
相同的笔记本也可以在Merlin Models GitHub仓库的examples目录中找到。
反馈和支持
如果您想直接为该库做出贡献，请参阅CONTRIBUTING.md文件。 我们特别欢迎对我们的特征工程和预处理操作的贡献或功能请求。 为了进一步推进我们的Merlin路线图，我们鼓励您在这个调查中分享有关您的推荐系统管道的所有详细信息。
