项目介绍:OpenAI-Style-API
OpenAI-Style-API 是一个有助于在多个大型语言模型(LLM)之间实现无缝接口的工具。通过此项目,用户可以在不同的模型之间切换,而不必担心它们各自API的差异,也无需为每个模型单独配置API Key。
项目背景与初衷
OpenAI-Style-API 的开发者意识到,许多对大型语言模型(如OpenAI、Azure AI、讯飞星火等)感兴趣的用户,希望能利用这些模型来完成各种任务,但不同模型的API格式往往不兼容,导致使用这些模型变得相对复杂。因此,项目的核心目标是创建一个统一的API接口,通过OpenAI标准API格式进行调用。这使得API使用者不必再为模型选择、Key管理、参数配置等问题而头疼。
主要功能详述
-
多模型支持:当前项目已经支持多个知名模型,包括OpenAI、Azure AI、Claude、智谱AI、kimi、bingchat(Copilot)、讯飞星火、Gemini和通义千问等。
-
参数配置与管理:采用配置文件管理各种模型的参数,用户仅需配置自己的API Key和消息即可大规模调用模型。
-
负载均衡:通过配置,允许一个Key在多个模型之间进行负载均衡分配,包括轮询、随机和并行等策略。
-
在线更新与配置:用户可以通过简易的Web界面更新配置,管理起来更加灵活。
-
路由功能:按model_name进行路由,使得不同请求可轻松对应到不同的模型。
使用方法
Docker 部署
-
创建一个
model-config.json
配置文件,具体配置可以参考文档中的示例。 -
执行如下命令进行Docker部署:
docker pull tianminghui/openai-style-api docker run -d -p 8090:8090 --name openai-style-api\ -e ADMIN-TOKEN=admin \ -v /path/to/your/model-config.json:/app/model-config.json \ tianminghui/openai-style-api
注意:
/path/to/your/model-config.json
需替换为自己文件的实际路径。
本地部署
-
克隆项目代码并进入目录。
git clone https://github.com/tian-minghui/openai-style-api.git cd openai-style-api
-
将默认配置文件复制为可编辑的
model-config.json
,然后根据需求进行修改。cp model-config-default.json model-config.json
-
安装Python依赖并运行项目。
pip install -r requirements.txt python open-api.py
示例代码
项目提供了一些示例代码,帮助用户理解如何使用不同API调用模型,其中包括curl命令的使用和OpenAI库的集成调用示例。
配置文件示例
配置文件采用JSON格式,用于指定不同模型的关联信息,包括API Base URL、API Key和模型配置等。用户可以根据需要自定义各个配置项,如模型名称、API版本等。
贡献与支持
项目欢迎社区内的开发者和爱好者通过提交代码、提出问题(issue)等形式进行贡献。这种开放、协作的开发模式将助力项目的不断完善与发展。
通过OpenAI-Style-API,开发者和企业可以更轻松地集成多个大型语言模型到自己的应用中,从而推动AI创新的实际应用,提供更智能化的用户体验。