关于WikiChat项目的介绍
什么是WikiChat?
WikiChat是一个旨在提高大型语言模型(LLM)准确性的聊天工具。许多著名的聊天机器人,例如ChatGPT和GPT-4,有时会在回答关于最新事件或冷门话题时犯错。WikiChat通过七个步骤的处理流程,依据维基百科的信息来确保其回答的准确性。
项目特点
-
多语言支持:WikiChat可以从包括英语、中文、西班牙语、俄语等十种语言的维基百科中获取信息。
-
信息检索优化:WikiChat支持从表格、信息框及列表等结构化数据中检索信息,预处理维基百科的脚本质量极高,并使用最先进的多语言检索模型BGE-M3进行检索。
-
扩展语言模型兼容性:WikiChat可以通过统一接口支持100多种LLM模型。
-
便捷的API使用:提供免费且多语言的维基百科搜索API。
-
优化的处理流程:有合并“生成”和“提取声明”步骤的选项,以实现更高效的运行。
使用方式
安装
安装WikiChat需要进行以下步骤:
- 安装必要的依赖。
- 配置你选择的LLM,WikiChat支持多种来源的模型。
- 选择一个信息检索源,可以使用我们提供的API、自行下载并托管维基百科索引,或者构建自己的索引。
- 按需配置并运行WikiChat。
针对多用户访问的部署
可以选择将WikiChat部署为支持多用户访问的服务,支持存储用户对话数据的功能,如连接到Azure Cosmos DB数据库。
推荐配置
建议使用Python 3.10运行WikiChat,并可根据需求选择SSD磁盘以优化检索速度。
为什么选择WikiChat?
WikiChat的设计初衷是解决大型语言模型在生成答案时可能出现的“幻觉”(不准确或无根据的回答)问题。通过对少量示例的加权训练,与海量的维基百科信息相结合,WikiChat确保回答的可靠性,并且在提高多语言支持及信息检索功能方面具有显著的优势。
这使WikiChat在需要精确答案的场合下,成为传统LLM的一个重要补充。WikiChat的上线标志着使用维基百科大规模数据改善语言模型表现的一个新阶段。