项目介绍:LLM Graph Builder
LLM Graph Builder 是一个强大的应用程序,它旨在将非结构化数据(如PDF、文档、文本文件、YouTube 视频、网页等)转化为存储于 Neo4j 中的知识图谱。该应用程序利用大语言模型(如 OpenAI、Gemini 等)的强大功能,从文本中提取节点、关系及其属性,并使用 Langchain 框架创建结构化的知识图谱。用户可以从本地设备、谷歌云存储(GCS)、S3 存储桶或网上来源上传文件,选择适合的 LLM 模型来生成知识图谱。
主要特性
- 知识图谱创建:利用大语言模型将非结构化数据转化为结构化的知识图谱。
- 提供数据架构:用户可以在设置中使用现有架构或提供自定义架构来生成图谱。
- 图谱查看:通过 Bloom 查看单个或多个来源的知识图谱。
- 数据交互:用户可以通过对话查询在 Neo4j 数据库中与数据进行互动,并获取响应来源的元数据。
开始使用
要使用这个知识图谱生成器,用户需要安装带有 APOC 的 Neo4j 数据库 V5.15 或更高版本。用户可选择使用免费的 Neo4j Aura 数据库。如果使用 Neo4j 桌面版,则无法使用 docker-compose,需要按照“单独部署前端和后端”的指导部署。
部署
本地部署
-
通过 Docker-compose 运行:默认情况下,只有 OpenAI 和 Diffbot 被启用,因为 Gemini 需要额外的 GCP 配置。根据环境需求配置模型,可以在根目录下创建 .env 文件来保存 OpenAI 和 DIFFBOT 的密钥。
-
关于输入来源的默认配置:包括本地文件、YouTube、维基百科、AWS S3 和网页。如需启用 GCS 集成,需添加
gcs
和 Google 客户端 ID。
云端部署
可以通过 Google 云平台将应用程序和包部署到云端。对于前端和后端,分别运行指定的 gcloud 命令。
环境变量
LLM Graph Builder 提供灵活的环境配置,允许用户调整如嵌入模型、KNN 算法的最低分数、启用或禁用 Gemini 等选项。
本地大语言模型(Ollama)
支持用户在本地运行 Ollama 的 LLM 模型,通过配置 Docker 的环境变量并启用后端 API URL,用户可以选择 Ollama 模型进行数据提取。
使用方法
- 连接到 Neo4j Aura 实例,输入 URI 和密码或使用 Neo4j 凭证文件。
- 从非结构化来源列表中选择要创建图谱的数据源。
- 如有需要,从下拉菜单中更改用于生成图谱的 LLM。
- 在实体图提取设置中定义架构(节点和关系标签)。
- 可以选择多个文件生成图谱,或处理所有处于“新”状态的文件。
- 使用“查看”按钮单独查看文件的图谱,或选择一个或多个文件进行图谱预览。
- 可以就处理或完成的数据源向聊天机器人提问,并获取 LLM 生成的答案的详细信息。
链接和参考
- LLM 知识图谱生成器应用程序
- Neo4j 工作区
- 应用程序演示
- 提交 GitHub 问题 以获取更多支持
希望你能在知识图谱构建中获得乐趣!