DeepKE 项目介绍
概述
DeepKE 是一个用于构建知识图谱的深度学习知识提取工具包。它支持 cnSchema、低资源、文档级以及多模态场景下的实体、关系和属性提取。DeepKE 提供了详细的文档、在线演示、相关论文、幻灯片以及海报,帮助初学者快速入门。
功能亮点
- 大型语言模型:DeepKE 集成了大型语言模型(LLM),如 [DeepKE-LLM] 和 [OneKE] 以支持更强大的知识提取能力。
- 监督模型训练:DeepKE 提供了不同种类的识别与提取模型,包括命名实体识别(NER)、关系提取与三元组提取,并允许用户快速开始训练。
- 多平台支持:推荐在 Linux 上使用 DeepKE,如使用 Windows,请注意在路径中使用
\\
。 - 兼容性:如果 HuggingFace 不可访问,DeepKE 提供其他选项,例如
wisemodel
或modescape
。
快速开始
DeepKE-LLM
在大模型时代,DeepKE-LLM需要一些新的环境依赖。
conda create -n deepke-llm python=3.9
conda activate deepke-llm
cd example/llm
pip install -r requirements.txt
DeepKE
-
下载基础代码:
git clone --depth 1 https://github.com/zjunlp/DeepKE.git
-
创建虚拟环境:
conda create -n deepke python=3.8 conda activate deepke
-
安装 DeepKE:
pip install -r requirements.txt python setup.py install python setup.py develop
-
进入任务目录进行训练和预测:
cd DeepKE/example/re/standard python run.py # 进行训练 python predict.py # 进行预测
模型框架
DeepKE 包含一个统一的框架用于命名实体识别、关系提取和属性提取。这三个任务在不同场景下可以有不同实现方法,例如标准方法、低资源方法(如少样本)、文档级方法以及多模态方法。每个场景都由三个组件组成:数据(包括 Tokenizer、预处理器和加载器)、模型(包括模块、编码器和前向器)、核心(包括训练、评价和预测)。
使用建议与提醒
- 使用本地镜像加速安装。
- 遇到特定模块未找到的错误时,手动安装相关依赖。
- 根据具体任务需求,预先下载预训练模型来提高安装速度。
通过以上步骤,用户可以轻松安装和使用 DeepKE 来进行知识提取任务。与此同时,该项目在持续更新中,将在未来版本中引入更强的 LLM 支持。欢迎用户反馈使用中的问题和建议。