OpenAOE: 革命性的大语言模型群聊框架

OpenAOE：开启大语言模型群聊新纪元

在人工智能快速发展的今天，大语言模型(LLM)已成为推动技术进步的重要力量。然而，如何更有效地利用和比较不同的LLM一直是研究者和开发者面临的挑战。近日，一个名为OpenAOE的开源项目应运而生，为解决这一问题提供了创新的解决方案。

OpenAOE：何以得名？

OpenAOE中的"AOE"源自DOTA2游戏中的术语"Area Of Effect"（效果范围），指代能够同时影响多个目标的能力。在AI领域，OpenAOE巧妙地将这一概念转化为用户能够通过单一提示同时获取多个LLM的并行输出。这一命名不仅富有创意，也准确反映了项目的核心功能。

OpenAOE演示

OpenAOE的独特之处

在当前的AI生态系统中，虽然基于ChatGPT的聊天框架已经比比皆是，但专门针对LLM群聊（LLM Group Chat，LGC）的框架却鲜有人问津。OpenAOE的出现恰好填补了这一空白，为AI研究和应用开辟了新的可能性。

OpenAOE的核心优势在于：

多模型并行响应：用户只需输入一次提示，即可同时获得多个LLM的回答，大大提高了效率和比较的便利性。
广泛的模型支持：OpenAOE不仅支持主流的商业LLM API（如GPT-3.5、GPT-4、Google Palm、Minimax、Claude、Spark等），还允许用户自定义接入其他大模型API。
开源模型接入：项目推荐使用LMDeploy进行一键部署，为开源LLM的使用提供了便利。
灵活的使用方式：OpenAOE提供了后端API和Web UI两种使用方式，满足不同用户的需求。

快速上手OpenAOE

OpenAOE提供了三种运行方式，分别是通过pip安装、Docker运行和源代码运行，以适应不同用户的使用习惯和环境需求。

通过pip安装

安装OpenAOE：

pip install openaoe

启动服务：

openaoe -f /path/to/your/config-template.yaml

使用Docker运行

拉取Docker镜像：

docker pull opensealion/openaoe:latest

运行容器：

docker run -p 10099:10099 -v /path/to/your/config-template.yaml:/app/config.yaml --name OpenAOE opensealion/openaoe:latest

源代码运行

克隆项目：

git clone https://github.com/internlm/OpenAOE

安装依赖并启动：

cd OpenAOE
pip install -r openaoe/backend/requirements.txt
python -m openaoe.main -f /path/to/your/config-template.yaml

值得注意的是，无论选择哪种方式运行，都需要准备一个配置文件config-template.yaml，其中包含了LLM的相关配置信息，如API URL、密钥等。用户可以在openaoe/backend/config/config-template.yaml找到模板文件，并根据自己的需求进行修改。

OpenAOE的技术架构

OpenAOE采用了现代化的技术栈，确保了项目的高效性和可扩展性：

后端：基于Python和FastAPI构建
前端：使用TypeScript、Sealion-Client（基于React的封装）和Sealion-UI
构建工具：conda用于快速创建虚拟Python环境，npm用于构建前端项目

项目的目录结构清晰明了：

前端代码位于openaoe/frontend
后端代码位于openaoe/backend
项目入口点为openaoe/main.py

扩展OpenAOE：添加新模型

OpenAOE的设计考虑到了可扩展性，允许开发者轻松添加新的LLM。以下是添加新模型的基本步骤：

在前端：
- 在openaoe/frontend/src/config/model-config.ts中添加新模型的基本信息
- 在openaoe/frontend/src/config/api-config.ts中配置新模型的API请求payload
- 在openaoe/frontend/src/services/fetch.ts中根据新模型的API定义修改payload结构和处理特殊情况
在后端：
- 在openaoe/backend/llm/目录下创建新的模型类
- 在openaoe/backend/llm/__init__.py中注册新模型
- 更新openaoe/backend/config/config-template.yaml，添加新模型的配置项