让你的本地LLM具备搜索网络的能力！

这个项目通过输出一个特定的命令，使本地LLM具备搜索网络的能力。一旦在模型输出中通过正则表达式找到了命令，就使用duckduckgo-search来搜索网络并返回若干结果页面。最后，使用LangChain的情境压缩和Okapi BM25（或者备选的SPLADE）的组合，从搜索结果中的每个网页中提取相关部分（如果有）并将结果附加到模型的输出中。

安装

进入Web UI的"Session"标签，使用"安装或更新扩展"下载此扩展的最新代码。
有两种方法来安装扩展的依赖项：
1. 简单方法： 在text-generation-webui文件夹中运行适当的update_wizard脚本，并选择Install/update extensions requirements。这会使用pip安装所有东西，这意味着使用非官方的faiss-cpu包。因此，不保证能与您的系统兼容（见官方免责声明）。
2. 安全方法： 手动更新您安装了oobabooga's text-generation-webui依赖项的conda环境。在终端或conda shell中打开子文件夹text-generation-webui/extensions/LLM_Web_search。如果您使用一键安装方法，则运行命令 conda env update -p <path_to_your_environment> --file environment.yml，其中需要将<path_to_your_environment>替换为text-generation-webui文件夹中的/installer_files/env子文件夹的路径。否则，如果您创建了自己的环境，请使用 conda env update -n <name_of_your_environment> --file environment.yml （注意：解决环境问题可能需要一些时间）
启动Web UI：

python server.py --extension LLM_Web_search

如果安装成功并加载了扩展程序，Web UI中应会出现一个标题为"LLM Web Search"的新标签。

有关扩展的更多信息，参见：https://github.com/oobabooga/text-generation-webui/wiki/07-%E2%80%90-Extensions

使用

使用正则表达式从模型的输出中提取搜索查询。这可以通过提示模型使用固定的搜索命令来简化（参见system_prompts/中的示例提示）。
当前，每条模型聊天信息仅支持单个搜索查询。

使用此扩展的示例工作流程可能是：

加载模型
加载匹配的指令模板
转到“LLM Web search”标签
加载自定义系统消息/提示
确保系统消息中提到的命令的查询部分可以与当前的"搜索命令正则表达式字符串"匹配（见下文"使用自定义正则表达式"）
选择适合您的超参数生成预设
选择“chat-instruct”或“instruct”模式并开始聊天

使用自定义正则表达式

默认的正则表达式是：

Search_web\("(.*)"\)

其中Search_web是搜索命令，括号内引号之间的所有内容将用作搜索查询。每个自定义正则表达式必须使用一个捕获组来提取搜索查询。我推荐https://www.debuggex.com/来尝试自定义正则表达式。如果一个正则表达式符合上述要求，则搜索查询应由Debuggex的"Group 1"匹配。

以下是一个更灵活但更复杂的正则表达式示例，适用于多种不同的模型：

[Ss]earch_web\((?:["'])(.*)(?:["'])\)

阅读网页

实验性支持从网页中提取全文内容。使用此功能的默认正则表达式是：

Open_url\("(.*)"\)

注意：网页的全部内容可能会超过普通本地LLM的最大上下文长度。

搜索后端

DuckDuckGo

这是默认的网页搜索后端。

SearXNG

初步支持SearXNG。要使用本地或远程SearXNG实例代替DuckDuckGo，只需将URL粘贴到“LLM Web Search”设置选项卡的“SearXNG URL”文本字段中。实例必须支持返回JSON格式的结果。

搜索参数

要修改特定查询中应使用的类别、引擎、语言等，必须遵循 SearXNG搜索语法。当前，不支持自动重定向和特殊查询。

关键字检索器

Okapi BM25

此扩展默认启用Okapi BM25，它广泛使用且非常流行的基于关键字的文档检索方法。它在CPU上运行，并且对于此扩展程序来说很快。

SPLADE

如果您没有在“仅CPU”模式下运行扩展，且有一些VRAM可以使用，您还可以在“高级设置”部分选择SPLADE作为替代方案。已被证明在多个基准测试中表现优于BM25，并使用一种称为“查询扩展”的技术，将额外的上下文相关词添加到原始查询中。然而，它比BM25慢。您可以在这里了解更多。
要使用SPLADE，您必须安装额外的依赖项qdrant-client。只需激活Web UI的conda环境并运行 pip install qdrant-client。为了提高性能，文档将批量并行嵌入。增加"SPLADE batch size"参数设置可以提高性能到一定程度，但VRAM使用量会随着批量大小的增加而迅速上升。批量大小8似乎是一个很好的折衷，但默认值是2以避免在较小的GPU上耗尽内存。