YAYI-UIE: 中科闻歌研发的先进信息抽取大模型

YAYI-UIE

YAYI-UIE: 开创信息抽取新时代

在人工智能和自然语言处理快速发展的今天，信息抽取技术作为重要的基础能力，正在迎来新的突破。由中科闻歌算法团队倾力打造的YAYI-UIE (Yet Another Youthful & Intelligent - Unified Information Extraction) 大模型，正是这一领域的佼佼者。这个强大的统一信息抽取模型不仅在性能上达到了新的高度，还为研究人员和开发者提供了宝贵的开源资源。

模型概览：统一的信息抽取框架

YAYI-UIE的核心优势在于其统一的信息抽取框架。该模型在百万级人工构造的高质量信息抽取数据上进行了精心的指令微调，覆盖了命名实体识别(NER)、关系抽取(RE)和事件抽取(EE)三大核心任务。这种统一的训练方式使得模型能够在通用、安全、金融、生物、医疗等多个专业领域内实现高效的结构化信息抽取。

数据驱动：丰富多样的训练语料

YAYI-UIE的强大性能离不开其背后庞大而优质的训练数据集。该数据集包含了百万级的语料，其中中文占54%，英文占46%。覆盖了12个主要领域，包括金融、社会、生物、商业、工业制造、化学、车辆、科学、疾病医疗、个人生活、安全和通用领域，涵盖了数百个具体场景。

在实体识别方面，中文数据覆盖了28个实体类型，英文则多达130个类型。关系抽取任务中，中文包含232种关系类型，英文则有236种。事件抽取任务更是丰富，中文涵盖84种事件类型和203种论元，英文则包含45种事件类型和62种论元。这种全面而细致的数据覆盖为YAYI-UIE提供了坚实的知识基础。

技术创新：指令微调与大模型结合

YAYI-UIE的核心技术亮点在于其创新性地将指令微调技术与大规模预训练语言模型相结合。该模型基于Baichuan2-13B模型进行了指令微调，充分利用了大模型的强大语义理解能力和广泛的知识储备。通过精心设计的指令微调策略，YAYI-UIE不仅继承了基础模型的通用语言理解能力，还在信息抽取任务上展现出色的性能。

模型评测：零样本学习能力突出

YAYI-UIE在多个标准数据集上进行了零样本（zero-shot）评测，结果令人瞩目。在实体识别(NER)任务中，YAYI-UIE在英文数据集上的平均性能达到50.39%，仅次于ChatGPT 3.5；在中文数据集上更是以40.83%的平均性能领先群雄。

关系抽取(RE)任务中，YAYI-UIE在英文数据集上以38.58%的平均性能位居榜首，在中文数据集上更是以37.91%的惊人成绩遥遥领先。事件抽取(EE)任务中，YAYI-UIE在事件类型判别和事件论元抽取两个子任务上都展现出了强劲的实力，尤其在中文数据集上的表现更是出色。

开源共享：推动NLP社区发展

中科闻歌研究团队秉持开放共享的精神，将YAYI-UIE模型及其训练数据集完整开源。开发者和研究人员可以通过GitHub仓库和Hugging Face模型库轻松获取模型和数据资源。这一举措不仅方便了学术研究，也为工业界的应用开发提供了有力支持。

模型的使用非常简单，只需几行Python代码即可完成部署和推理：

>>> import torch
>>> from transformers import AutoModelForCausalLM, AutoTokenizer
>>> from transformers.generation.utils import GenerationConfig
>>> tokenizer = AutoTokenizer.from_pretrained("wenge-research/yayi-uie", use_fast=False, trust_remote_code=True)
>>> model = AutoModelForCausalLM.from_pretrained("wenge-research/yayi-uie", device_map="auto", torch_dtype=torch.bfloat16, trust_remote_code=True)
>>> generation_config = GenerationConfig.from_pretrained("wenge-research/yayi-uie")