访问官网
Github
文档
论文🤝 贡献
我们欢迎社区成员为增强GraphRAG Local Ollama做出贡献！请参阅我们的贡献指南，了解如何参与的更多详情。
需要支持llama集成。
🚀 GraphRAG Local Ollama - 知识图谱
欢迎来到GraphRAG Local Ollama！这个仓库是微软GraphRAG的一个令人兴奋的改编版本，专门支持使用Ollama下载的本地模型。告别昂贵的OpenAPI模型，迎接使用Ollama进行高效、经济的本地推理！
📄 研究论文
关于GraphRAG实现的更多细节，请参考GraphRAG论文。
论文摘要
使用检索增强生成（RAG）从外部知识源检索相关信息，使大型语言模型（LLMs）能够回答私有和/或先前未见过的文档集合的问题。然而，RAG在针对整个文本语料库的全局问题上失效，比如"数据集的主要主题是什么？"，因为这本质上是一个查询聚焦摘要（QFS）任务，而不是一个明确的检索任务。同时，先前的QFS方法无法扩展到典型RAG系统索引的文本数量。为了结合这些对比方法的优势，我们提出了一种图形RAG方法来回答私有文本语料库的问题，该方法可以随用户问题的通用性和要索引的源文本数量而扩展。我们的方法使用LLM分两个阶段构建基于图形的文本索引：首先从源文档中派生实体知识图，然后为所有密切相关的实体组预生成社区摘要。给定一个问题，每个社区摘要用于生成部分响应，然后所有部分响应再次汇总为最终的用户响应。对于100万token范围内数据集的一类全局理解问题，我们展示了Graph RAG在生成答案的全面性和多样性方面相比简单的RAG基线有显著改进。
🌟 特性
- 本地模型支持： 利用Ollama的本地模型进行LLM和嵌入。
- 经济高效： 消除对昂贵OpenAPI模型的依赖。
- 简易设置： 简单直接的设置过程。
📦 安装和设置
按照以下步骤设置此仓库并使用Ollama提供的本地模型运行GraphRag：
-
创建并激活新的conda环境：（请坚持使用给定的Python 3.10版本以避免错误）
conda create -n graphrag-ollama-local python=3.10 conda activate graphrag-ollama-local -
安装Ollama：
- 访问Ollama的网站获取安装说明。
- 或者，运行：
curl -fsSL https://ollama.com/install.sh | sh #适用于Linux的ollama pip install ollama -
使用Ollama下载所需模型，我们可以从(mistral, gemma2, qwen2)中选择LLM，以及Ollama提供的任何嵌入模型：
ollama pull mistral #llm ollama pull nomic-embed-text #嵌入 -
克隆仓库：
git clone https://github.com/TheAiSingularity/graphrag-local-ollama.git -
进入仓库目录：
cd graphrag-local-ollama/ -
安装graphrag包 ** 这是最重要的步骤：
pip install -e . -
创建所需的输入目录：这是存储实验数据和结果的地方 - ./ragtest
mkdir -p ./ragtest/input -
将样本数据文件夹input/复制到./ragtest。input/包含运行设置的样本数据。您可以在这里以.txt格式添加自己的数据。
cp input/* ./ragtest/input -
初始化./ragtest文件夹以创建所需文件：
python -m graphrag.index --init --root ./ragtest -
移动settings.yaml文件，这是主要的预定义配置文件，配置了ollama本地模型：
cp settings.yaml ./ragtest
用户可以通过更改模型进行实验。llm模型期望像llama3、mistral、phi3等语言模型，嵌入模型部分期望像mxbai-embed-large、nomic-embed-text等Ollama提供的嵌入模型。您可以在这里找到Ollama提供的完整模型列表https://ollama.com/library，这些模型可以在本地部署。LLM和嵌入的默认API基础URL分别是http://localhost:11434/v1和http://localhost:11434/api，因此它们被添加到各自的部分中。
-
运行索引，这将创建一个图：
python -m graphrag.index --root ./ragtest -
运行查询：仅支持全局方法
python -m graphrag.query --root ./ragtest --method global "什么是机器学习？"
可以通过在settings.yaml中将graphml更改为"true"来保存图，这些图可以进一步用于可视化：
snapshots:
graphml: true
要可视化生成的graphml文件，您可以使用：https://gephi.org/users/download/ 或仓库中提供的脚本visualize-graphml.py：
将.graphml文件的路径传递给visualize-graphml.py中的以下行：
graph = nx.read_graphml('output/20240708-161630/artifacts/summarized_graph.graphml')
13. 可视化.graphml：
```bash
python visualize-graphml.py
```
引用
通过遵循上述步骤，您可以设置并使用本地模型运行GraphRAG，使过程更加经济高效。
