Multimodal-Toolkit

项目介绍

Multimodal-Toolkit简介

Multimodal-Toolkit是一个支持多模态数据的工具包，专门用于文本数据的分类和回归任务。它主要依托于HuggingFace的transformers作为文本特征的基础模型，并通过组合模块将transformers的输出与分类和数值特征结合在一起，从而生成丰富的多模态特征以用于后续的分类或回归层。在预训练的transformer模型的基础上，组合模块的参数和transformer的参数会根据监督任务进行训练。

安装指南

此工具包用Python 3.7开发，支持PyTorch和Transformers 4.26.1版本。有关多模态的特定代码放置在multimodal_transformers文件夹中。安装方式如下：

pip install multimodal-transformers

支持的Transformers

Multimodal-Toolkit支持多种HuggingFace Transformers用于处理表格数据，包括：

BERT
ALBERT
DistilBERT
RoBERTa
XLM
XLNET
XLM-RoBERTa

数据集支持

该工具包包含以下Kaggle数据集，适用于文本数据和丰富的表格特征：

女性服装电子商务评论：用于推荐预测（分类）
墨尔本Airbnb开放数据：用于价格预测（回归）
PetFindermy收养预测：用于宠物收养速度预测（多类分类）

使用示例

用户可以在包含预设配置的数据集上快速查看这些模型的实际效果：

python main.py ./datasets/Melbourne_Airbnb_Open_Data/train_config.json

或者通过命令行参数运行：

python main.py \
    --output_dir=./logs/test \
    --task=classification \
    --combine_feat_method=individual_mlps_on_cat_and_numerical_feats_then_concat \
    --do_train \
    --model_name_or_path=distilbert-base-uncased \
    --data_path=./datasets/Womens_Clothing_E-Commerce_Reviews \
    --column_info_path=./datasets/Womens_Clothing_E-Commerce_Reviews/column_info.json