LUAR-MUD - 基于Reddit数据的作者风格模型LUAR

LUAR-MUD项目介绍

LUAR-MUD项目是一个利用LUAR（Learning Universal Authorship Representations）技术进行文本作者风格表示的模型。LUAR-MUD的训练和评估仓库可以在GitHub上找到，旨在通过对大量用户生成文本数据的分析，帮助研究人员和开发人员更好地理解和应用作者风格分析。

项目背景

LUAR-MUD模型主要基于Reddit百万用户数据集进行训练，该数据集提供了丰富的用户文本内容，适合用来研究不同用户的写作风格。通过对这些数据的深入学习，LUAR-MUD模型可以有效地表示出文本的作者风格特征。

使用方法

LUAR-MUD模型可通过transformers库中的AutoModel和AutoTokenizer轻松加载和使用。用户可以用这个模型对一组假设来源于同一作者的文档集合进行嵌入，进而分析这些文本的作者风格特征。关键步骤包括：

加载预训练的tokenizer和模型。
对文本进行tokenization，确保输入格式符合模型要求。
使用模型对tokenized文本进行特征提取。

以下是代码的简要示例：

from transformers import AutoModel, AutoTokenizer

tokenizer = AutoTokenizer.from_pretrained("rrivera1849/LUAR-MUD")
model = AutoModel.from_pretrained("rrivera1849/LUAR-MUD")

batch_size = 3
episode_length = 16
text = [
    ["Foo"] * episode_length,
    ["Bar"] * episode_length,
    ["Zoo"] * episode_length,
]
text = [j for i in text for j in i]
tokenized_text = tokenizer(
    text, 
    max_length=32,
    padding="max_length", 
    truncation=True,
    return_tensors="pt"
)
tokenized_text["input_ids"] = tokenized_text["input_ids"].reshape(batch_size, episode_length, -1)
tokenized_text["attention_mask"] = tokenized_text["attention_mask"].reshape(batch_size, episode_length, -1)

out = model(**tokenized_text)

引用与作者

如果该模型对您的研究或项目有所帮助，欢迎引用其发表在EMNLP 2021会议上的论文。相关的作者包括Rafael A. Rivera Soto、Olivia Miano、Juanita Ordonez、Barry Chen等。

许可协议

LUAR项目是根据Apache License（2.0版本）分发的。所有新贡献也必须遵循Apache-2.0许可协议。

总之，LUAR-MUD项目为理解和分析文本作者风格提供了一个强大的工具，能够广泛应用于学术研究及商业场景。通过使用LUAR-MUD模型，用户可以更好地揭示和利用丰富的作者风格信息。