OpenPipe简介
OpenPipe是一个开源的AI模型微调和托管平台，旨在帮助开发者利用强大但昂贵的大型语言模型(LLM)来微调更小、更便宜的模型，以满足特定需求。它允许用户查询过去的请求并评估不同模型的表现，只需一行代码就可以在OpenAI和微调模型之间切换。
主要功能
- 轻松集成OpenAI的Python和TypeScript SDK
- 提供OpenAI兼容的聊天补全端点
- 支持微调GPT 3.5、Mistral和Llama 2等模型
- 可在平台上托管模型或下载权重文件
- 使用内置强大过滤器查询日志
- 导入OpenAI兼容的JSONL格式数据集
- 删减系统提示等大块重复文本
- 与gpt-3.5-turbo等基础模型比较输出准确性
支持的基础模型
- mistralai/Mixtral-8x7B-Instruct-v0.1
- OpenPipe/mistral-ft-optimized-1227
- meta-llama/Llama-3-8B
- meta-llama/Llama-3-70B
- gpt-3.5-turbo系列
本地运行指南
- 安装PostgreSQL和Node.js 20
- 安装pnpm:
npm i -g pnpm - 克隆仓库:
git clone https://github.com/openpipe/openpipe - 安装依赖:
cd openpipe && pnpm install - 创建.env文件并设置OPENAI_API_KEY
- 设置数据库和GitHub OAuth应用
- 运行
pnpm dev启动应用 - 访问 http://localhost:3000
使用示例
from openpipe import OpenAI
client = OpenAI(
api_key="Your API Key",
openpipe={
"api_key": "Your OpenPipe API Key",
"base_url": "http://localhost:3000/api/v1",
}
)
completion = client.chat.completions.create(
model="gpt-3.5-turbo",
messages=[{"role": "system", "content": "count to 10"}],
openpipe={
"tags": {"prompt_id": "counting"},
"log_request": True
},
)
更多资源
OpenPipe为开发者提供了一个强大的工具,可以更经济高效地利用大型语言模型的能力。无论您是想优化成本还是提升性能,都可以尝试使用OpenPipe来微调和部署适合您特定需求的模型。
