Logo

OmniEvent: 全面、统一和模块化的事件抽取工具包

OmniEvent事件抽取模型训练评估方法数据处理Github开源项目

OmniEvent:全面、统一和模块化的事件抽取工具包

在自然语言处理领域,事件抽取是一项具有挑战性但意义重大的任务。它旨在从非结构化文本中识别和提取事件信息,包括事件类型、触发词和事件论元等要素。为了推动这一领域的研究发展,清华大学知识工程实验室(THU-KEG)推出了一个名为OmniEvent的开源事件抽取工具包。OmniEvent是一个全面、统一和模块化的事件抽取系统,为研究人员和开发者提供了强大而灵活的工具。

主要特点

OmniEvent具有以下几个突出的特点:

  1. 全面的能力覆盖

OmniEvent支持完整的事件抽取任务,也可以独立进行事件检测和事件论元抽取两个子任务。它涵盖了多种主流范式,包括令牌分类、序列标注、机器阅读理解和序列到序列生成。同时实现了基于Transformer的模型(如BERT、T5等)和经典模型(如DMCNN、CRF等)。OmniEvent还同时支持中文和英文的所有事件抽取相关任务、范式和模型。

  1. 统一的评测基准

为了公平比较不同模型的性能,OmniEvent将各种数据集处理成统一格式,并将不同范式的预测结果转换为统一的候选集进行评估。它还提供了四种评估模式(gold、loose、default、strict),全面覆盖了以往的各种评估设置。

  1. 模块化实现

OmniEvent将所有模型分解为四个模块:输入工程、主干网络、聚合和输出头。用户可以灵活组合和重新实现不同模块,设计并实现新的模型。

  1. 大模型训练与推理

借助BMTrain库,OmniEvent支持大规模事件抽取模型的高效训练和推理。

  1. 易用性与可扩展性

OmniEvent提供了简单的命令行接口用于下载和处理开放数据集。它完全兼容Hugging Face的Transformers库及其Trainer API,使用户能够轻松复现现有模型并构建自定义模型。

Image 1

支持的数据集和模型

OmniEvent支持多个主流的事件抽取数据集,涵盖了不同语言和领域:

  • 英文通用领域:MAVEN、ACE-EN、ACE-DYGIE、RichERE (KBP+ERE)
  • 中文法律领域:LEVEN
  • 中文通用领域:DuEE、ACE-ZH
  • 中文金融领域:FewFC

在模型方面,OmniEvent实现了多种范式和架构:

  • 范式:令牌分类、序列标注、序列到序列生成、机器阅读理解
  • 主干网络:CNN/LSTM、Transformers (BERT、T5等)
  • 聚合方法:选择[CLS]、动态/最大池化、标记、图卷积网络
  • 输出头:线性层、条件随机场、机器阅读理解头

使用示例

OmniEvent提供了简单易用的API,以下是一些基本用法示例:

  1. 事件抽取(EE)任务:
from OmniEvent.infer import infer

text = "2022年北京市举办了冬奥会"
results = infer(text=text, task="EE")
print(results[0]["events"])

输出结果:

[
    {
        "type": "组织行为开幕", "trigger": "举办", "offset": [8, 10],
        "arguments": [
            {"mention": "2022年", "offset": [9, 16], "role": "时间"},
            {"mention": "北京市", "offset": [81, 89], "role": "地点"},
            {"mention": "冬奥会", "offset": [0, 4], "role": "活动名称"},
        ]
    }
]
  1. 事件检测(ED)任务:
text = "U.S. and British troops were moving on the strategic southern port city of Basra \
Saturday after a massive aerial assault pounded Baghdad at dawn"

results = infer(text=text, task="ED")
print(results[0]["events"])

输出结果:

[
    { "type": "attack", "trigger": "assault", "offset": [113, 120]},
    { "type": "injure", "trigger": "pounded", "offset": [121, 128]}
]
  1. 事件论元抽取(EAE)任务:
results = infer(text=text, triggers=[("assault", 113, 120), ("pounded", 121, 128)], task="EAE")
print(results[0]["events"])

输出结果:

[
    {
        "type": "attack", "trigger": "assault", "offset": [113, 120],
        "arguments": [
            {"mention": "U.S.", "offset": [0, 4], "role": "attacker"},
            {"mention": "British", "offset": [9, 16], "role": "attacker"},
            {"mention": "Saturday", "offset": [81, 89], "role": "time"}
        ]
    },
    {
        "type": "injure", "trigger": "pounded", "offset": [121, 128],
        "arguments": [
            {"mention": "U.S.", "offset": [0, 4], "role": "attacker"},
            {"mention": "Saturday", "offset": [81, 89], "role": "time"},
            {"mention": "British", "offset": [9, 16], "role": "attacker"}
        ]
    }
]

训练自定义模型

OmniEvent还允许用户在特定数据集上训练和评估自定义模型。以下是在ACE-EN数据集上训练序列到序列范式的事件检测模型的步骤示例:

  1. 数据处理:
dataset=ace2005-en
cd scripts/data_processing/$dataset
bash run.sh
  1. 设置配置:
from OmniEvent.arguments import DataArguments, ModelArguments, TrainingArguments, ArgumentParser
from OmniEvent.input_engineering.seq2seq_processor import type_start, type_end

parser = ArgumentParser((ModelArguments, DataArguments, TrainingArguments))
model_args, data_args, training_args = parser.parse_yaml_file(yaml_file="config/all-datasets/ed/s2s/ace-en.yaml")

training_args.output_dir = 'output/ACE2005-EN/ED/seq2seq/t5-base/'
data_args.markers = ["<event>", "</event>", type_start, type_end]
  1. 初始化模型和分词器:
from OmniEvent.backbone.backbone import get_backbone
from OmniEvent.model.model import get_model

backbone, tokenizer, config = get_backbone(model_type=model_args.model_type, 
                                           model_name_or_path=model_args.model_name_or_path, 
                                           tokenizer_name=model_args.model_name_or_path, 
                                           markers=data_args.markers,
                                           new_tokens=data_args.markers)
model = get_model(model_args, backbone)
  1. 初始化数据集和评估指标:
from OmniEvent.input_engineering.seq2seq_processor import EDSeq2SeqProcessor
from OmniEvent.evaluation.metric import compute_seq_F1

train_dataset = EDSeq2SeqProcessor(data_args, tokenizer, data_args.train_file)
eval_dataset = EDSeq2SeqProcessor(data_args, tokenizer, data_args.validation_file)
metric_fn = compute_seq_F1
  1. 定义Trainer并开始训练:
from OmniEvent.trainer_seq2seq import Seq2SeqTrainer

trainer = Seq2SeqTrainer(
    args=training_args,
    model=model,
    train_dataset=train_dataset,
    eval_dataset=eval_dataset,
    compute_metrics=metric_fn,
    data_collator=train_dataset.collate_fn,
    tokenizer=tokenizer,
)
trainer.train()
  1. 统一评估:
from OmniEvent.evaluation.utils import predict, get_pred_s2s
from OmniEvent.evaluation.convert_format import get_trigger_detection_s2s

logits, labels, metrics, test_dataset = predict(trainer=trainer, tokenizer=tokenizer, data_class=EDSeq2SeqProcessor,
                                                data_args=data_args, data_file=data_args.test_file,
                                                training_args=training_args)
print(f"{test_dataset.dataset_name} test performance before converting: {metrics['test_micro_f1']}")  

preds = get_pred_s2s(logits, tokenizer)
pred_labels = get_trigger_detection_s2s(preds, labels, data_args.test_file, data_args, None)
print(f"{test_dataset.dataset_name} test performance after converting: {metrics['test_micro_f1']}")

一致性评估

OmniEvent还提供了解决事件抽取评估中三个主要差异的方案:

  1. 一致的数据预处理:提供了多个主流的预处理脚本,如ACE 2005数据集的ace2005-dygie、ace2005-oneie和ace2005-en。

  2. 输出标准化:实现了不同范式输出到令牌分类方法输出空间的转换。

  3. 流水线评估:提供了多种事件论元抽取评估模式,并推荐使用strict模式进行可比较的评估。同时提供了统一的抽取触发词集合用于不同事件论元抽取方法的流水线评估。

Image 2

结语

OmniEvent为事件抽取研究提供了一个全面、统一和灵活的工具包。它不仅支持多种主流范式和模型,还提供了一致的评估框架,有助于公平比较不同方法的性能。模块化的设计使得研究人员可以轻松地复现现有模型并开发新的方法。随着自然语言处理技术的不断发展,OmniEvent将继续更新和扩展,为推动事件抽取领域的进步做出贡献。

研究人员和开发者可以通过GitHub访问OmniEvent项目(https://github.com/THU-KEG/OmniEvent),并参考详细的文档来开始使用这个强大的工具包。OmniEvent的出现无疑将加速事件抽取技术的发展,为信息抽取、知识图谱构建等下游应用提供更加可靠和高效的支持.

相关项目

Project Cover
OmniEvent
OmniEvent是一个开源事件抽取工具包，支持事件检测和事件论元抽取。它覆盖多种范式，如令牌分类、序列标注、机器阅读理解和序列到序列等，在英文和中文数据集上提供统一评估。采用模块化实现，具有可扩展性，支持大型模型训练和推理，易用性高，兼容Transformers库。

最新项目

Project Cover
豆包MarsCode
豆包 MarsCode 是一款革命性的编程助手，通过AI技术提供代码补全、单测生成、代码解释和智能问答等功能，支持100+编程语言，与主流编辑器无缝集成，显著提升开发效率和代码质量。
Project Cover
AI写歌
Suno AI是一个革命性的AI音乐创作平台，能在短短30秒内帮助用户创作出一首完整的歌曲。无论是寻找创作灵感还是需要快速制作音乐，Suno AI都是音乐爱好者和专业人士的理想选择。
Project Cover
商汤小浣熊
小浣熊家族Raccoon，您的AI智能助手，致力于通过先进的人工智能技术，为用户提供高效、便捷的智能服务。无论是日常咨询还是专业问题解答，小浣熊都能以快速、准确的响应满足您的需求，让您的生活更加智能便捷。
Project Cover
有言AI
有言平台提供一站式AIGC视频创作解决方案，通过智能技术简化视频制作流程。无论是企业宣传还是个人分享，有言都能帮助用户快速、轻松地制作出专业级别的视频内容。
Project Cover
Kimi
Kimi AI助手提供多语言对话支持，能够阅读和理解用户上传的文件内容，解析网页信息，并结合搜索结果为用户提供详尽的答案。无论是日常咨询还是专业问题，Kimi都能以友好、专业的方式提供帮助。
Project Cover
吐司
探索Tensor.Art平台的独特AI模型，免费访问各种图像生成与AI训练工具，从Stable Diffusion等基础模型开始，轻松实现创新图像生成。体验前沿的AI技术，推动个人和企业的创新发展。
Project Cover
SubCat字幕猫
SubCat字幕猫APP是一款创新的视频播放器，它将改变您观看视频的方式！SubCat结合了先进的人工智能技术，为您提供即时视频字幕翻译，无论是本地视频还是网络流媒体，让您轻松享受各种语言的内容。
Project Cover
AIWritePaper论文写作
AIWritePaper论文写作是一站式AI论文写作辅助工具，简化了选题、文献检索至论文撰写的整个过程。通过简单设定，平台可快速生成高质量论文大纲和全文，配合图表、参考文献等一应俱全，同时提供开题报告和答辩PPT等增值服务，保障数据安全，有效提升写作效率和论文质量。
Project Cover
稿定AI
稿定设计 是一个多功能的在线设计和创意平台，提供广泛的设计工具和资源，以满足不同用户的需求。从专业的图形设计师到普通用户，无论是进行图片处理、智能抠图、H5页面制作还是视频剪辑，稿定设计都能提供简单、高效的解决方案。该平台以其用户友好的界面和强大的功能集合，帮助用户轻松实现创意设计。
使用协议隐私政策广告服务
投诉举报邮箱: service@vectorlightyear.com
@2024 懂AI·鲁ICP备2024100362号-6·鲁公网安备37021002001498号