LLMstudio 项目介绍
LLMstudio 是由 TensorOps 开发的一款专注于提示工程(Prompt Engineering)的开源工具。该工具旨在为用户提供更高效、便捷的方式来与大语言模型进行交互。
🌟 功能亮点
- LLM 代理访问:用户可以无缝访问 OpenAI、Anthropic 和 Google 最新的大语言模型。
- 支持自定义和本地 LLM:通过 Ollama,用户可以使用定制或本地开源的大语言模型。
- 提示操场 UI:提供用户友好的界面,便于用户开发和微调提示。
- Python SDK:轻松集成到现有工作流程中。
- 监控与记录:用户可以随时追踪所有请求的使用情况和性能。
- LangChain 集成:可以与现有的 LangChain 项目集成。
- 批量调用:支持一次发送多个请求,提高效率。
- 智能路由和备份:通过将请求路由到可信赖的 LLM,确保全天候可用。
- 类型转换(即将推出):根据具体使用场景,将数据类型转换为所需格式。
🚀 快速入门
用户可以访问 LLMstudio 文档 页面获取详细信息和使用指南。
安装指南
要安装 LLMstudio 的最新版本,建议用户使用 pip
,并采用 conda
建立和激活新的环境:
pip install llmstudio
如需使用 UI,需安装 bun
:
curl -fsSL https://bun.sh/install | bash
创建包含 API 密钥的 .env
文件:
OPENAI_API_KEY="sk-api_key"
ANTHROPIC_API_KEY="sk-api_key"
之后,可以使用以下命令运行 LLMstudio:
llmstudio server --ui
使用 --ui
参数后,用户可以通过 http://localhost:3000 访问界面。
📖 详细文档
👨💻 贡献和参与
- 用户可以通过查看我们的贡献指南来了解如何帮助 LLMstudio 发展。
- 欢迎加入我们的 Discord 社区,与其他 LLMstudio 爱好者交流。
感謝选择 LLMstudio,您的 AI 互动优化之旅从这里开始。