访问官网
Github
Huggingface
文档
论文简介
API for Open LLMs 项目是一个开源软件，旨在为不同的大语言模型（LLMs）提供统一的后端接口，特别是与 OpenAI 的 API 保持一致。这一平台不仅允许用户调用各类开源大语言模型，还提供流式响应支持、文本嵌入博化模型支持及大规模语言开发工具链的集成，并且能替代 OpenAI 的 ChatGPT，成为各类应用程序的后端。
新闻动态
最新支持模型
- 2024.06.13：新增对
MiniCPM-Llama3-V-2_5模型的支持。 - 2024.06.12：
GLM-4V模型现已支持。 - 2024.06.08：
QWEN2模型得到支持。 - 2024.06.05：
GLM4模型支持已上线。 - 2024.04.18：新增对
Code Qwen模型的支持。 - 2024.04.16：支持
Rerank重新排序模型。 - 2024.02.26：
QWEN1.5模型环境配置更新。
查看更多动态请访问 新闻页面。
项目主要特性
- 兼容性：以 OpenAI ChatGPT API 的方式调用开源大模型。
- 流式响应：实现流式数据传输，提供打印机效果。
- 文本嵌入：支持嵌入模型，用于文档问答。
- 工具链集成：支持
langchain的大规模语言开发。 - 环境配置容易：简单调整环境变量即可加载模型。
- 训练模型支持：支持加载自主训练的
lora模型。 - 推理加速：通过 vLLM 提高推理速度并处理并发请求。
使用指南
环境变量
OPENAI_API_KEY: 任意填写一个字符串即可。OPENAI_API_BASE: 指定后端接口地址，例如：http://192.168.0.xx:80/v1。
启动指南
- 进入项目目录，例如
streamlit-demo。 - 安装所需依赖：
pip install -r requirements.txt。 - 运行应用：
streamlit run streamlit_app.py。
项目的调用方式与 OpenAI API 保持相似，通过环境变量配置可广泛用于各种应用和前后端项目的集成。
支持模型
语言模型
项目支持的开源大语言模型包括：
- Baichuan
- ChatGLM
- DeepSeek
- InternLM
- LLaMA 系列
- Qwen 系列
- Yi 系列
每个模型均提供不同的参数大小供选择，支持的参数大小详见 API 的文档。
嵌入模型
提供多个嵌入模型供文本处理使用，包括：
- bge-large-zh
- m3e-large
- text2vec-large-chinese
- bce-embedding-base_v1（推荐）
每个模型都支持高维的文本嵌入操作，从而帮助文档的知识问答功能。
常见问题
有关软件的常见问题和解决方法，请参考 FAQ 文档。
许可证
项目使用 Apache 2.0 许可证开放，详细信息请查阅 LICENSE 文件。
参考文献
- 参考了多个开源语言模型项目，例如 ChatGLM, BLOOM, LLaMA 等，详情请见项目主页的引用部分。
本项目提供了在开源大语言模型上的便捷访问和操作，对于研究和开发者来说，是一个强大的利器。用户可以通过简单的配置，快速启动并使用这些强大的大语言模型来实现各类复杂的语言任务。
