Akcio项目简介
Akcio是由Zilliz公司开源的一个演示项目,旨在展示检索增强生成(Retrieval Augmented Generation, RAG)技术在聊天机器人领域的应用。该项目名称"Akcio"源自拉丁语,意为"行动",体现了项目的实践性质。
Akcio的核心理念是结合大型语言模型(LLM)、向量数据库和提示工程,构建一个知识增强型的聊天系统。这种技术组合被称为CVP技术栈(ChatGPT + Vector Database + Prompt-as-code)。通过CVP技术栈,Akcio能够克服传统LLM由于知识库限制而产生的局限性,提供更加准确和相关的回答。
如上图所示,Akcio的工作流程主要包括以下步骤:
- 接收用户查询
- 从向量数据库中检索相关信息
- 将用户查询和检索到的信息结合,生成提示(Prompt)
- 将提示输入LLM,生成最终回答
这种方法使LLM能够基于更丰富的上下文信息来生成回答,从而提高回答的质量和相关性。
Akcio的核心功能
Akcio提供了两种主要的AI平台选项:Towhee和LangChain。用户可以根据自己的需求和偏好选择其中之一来构建聊天系统。
Towhee模式
Towhee是一个开源的机器学习工具,它提供了预定义的管道(Pipeline)来简化系统构建过程。在Akcio中,Towhee模式主要包括以下组件:
- 插入管道(Insert Pipeline): 用于构建知识库,将文档和相关数据保存到数据库中。
- 搜索管道(Search Pipeline): 通过语义搜索和可选的关键词匹配实现信息检索,支持问答功能。
- 提示操作符(Prompt Operator): 准备LLM的输入消息,包括系统消息、聊天历史和经过模板处理的用户查询。
- 内存存储(Memory): 存储聊天历史,支持对话上下文。
LangChain模式
LangChain是另一个流行的AI应用开发框架。在Akcio中,LangChain模式主要包括以下组件:
- ChatAgent: 集成所有模块,构建问答系统。
- LLM: 大型语言模型或服务,用于生成回答。
- Embedding: 将文本输入转换为向量。
- VectorStore: 向量数据库,存储文档片段的嵌入表示,用于语义搜索。
- ScalarStore(可选): 存储文档片段的元数据,支持额外的信息检索。
- MemoryStore: 存储聊天历史,支持对话上下文。
- DataLoader: 从给定源加载数据,并将文档分割成处理过的片段。
Akcio的技术特性
-
多LLM支持: Akcio支持多种LLM服务,包括OpenAI、Llama-2、Dolly、Ernie、MiniMax等,为用户提供了灵活的选择。
-
多种嵌入方法: 支持OpenAI和HuggingFace的嵌入模型,用于将文本转换为向量表示。
-
向量存储选项: 支持Zilliz Cloud和Milvus作为向量数据库,用于高效的语义搜索。
-
可选的标量存储: 支持使用Elasticsearch作为标量存储,用于存储和检索额外的元数据信息。
-
多种内存存储选项: 支持PostgreSQL、MySQL、SQLite等多种数据库作为内存存储,用于保存对话历史。
-
重排序功能: 在Towhee模式下支持使用MS MARCO Cross-Encoders进行结果重排序,提高检索质量。
Akcio的部署和使用
要部署和使用Akcio,需要按照以下步骤进行:
-
下载项目代码:
git clone https://github.com/zilliztech/akcio.git cd akcio -
安装依赖:
pip install -r requirements.txt -
配置模块: 用户可以通过修改
config.py文件或设置环境变量来配置各个模块,包括LLM服务、嵌入方法、存储选项等。 -
启动服务: Akcio使用FastAPI构建后端服务,默认地址为
localhost:8900。用户可以选择Towhee或LangChain模式启动服务:# 使用Towhee模式 python main.py --towhee # 使用LangChain模式 python main.py --langchain -
访问服务: 启动服务后,可以通过浏览器访问
http://localhost:8900/docs来查看和测试API。
数据加载
Akcio提供了两种加载项目数据的方式:
-
离线加载: 推荐使用这种方法,可以分步加载数据,并支持高级选项,如为每个文档片段生成潜在问题。
-
在线加载: 当FastAPI服务运行时,可以使用POST请求
http://localhost:8900/project/add来加载数据。这种方法适合加载少量数据,不推荐用于大量数据的加载。
结语
Akcio作为一个开源的RAG技术演示项目,为开发者提供了一个强大而灵活的框架,用于构建知识增强型的聊天机器人系统。通过结合LLM、向量数据库和提示工程,Akcio能够生成更加准确、相关和有洞察力的回答。无论是对于研究人员、开发者还是企业用户,Akcio都提供了宝贵的参考和实践机会,有助于推动AI聊天机器人技术的发展和应用。
Akcio项目的开源性质也鼓励了社区贡献和创新。开发者可以根据自己的需求定制和扩展Akcio,探索更多可能性。随着RAG技术的不断发展,我们可以期待Akcio在未来会支持更多的LLM服务、存储选项和功能特性,为构建下一代智能对话系统提供更加强大的工具和平台。
