LLMstudio by TensorOps
触手可及的提示工程
🌟 特性
- LLM代理访问:无缝访问OpenAI、Anthropic、Google的所有最新LLM。
- 自定义和本地LLM支持:通过Ollama使用自定义或本地开源LLM。
- 提示词游乐场UI:用户友好的界面,用于工程化和微调您的提示词。
- Python SDK:轻松将LLMstudio集成到您现有的工作流程中。
- 监控和日志记录:跟踪所有请求的使用情况和性能。
- LangChain集成:LLMstudio与您已有的LangChain项目集成。
- 批量调用:一次发送多个请求以提高效率。
- 智能路由和回退:通过将请求路由到可信的LLM,确保24/7可用性。
- 类型转换(即将推出):根据您的特定用例需求转换数据类型。
🚀 快速入门
别忘了查看https://docs.llmstudio.ai页面。
安装
使用pip
安装最新版本的LLMstudio。我们建议您使用conda
创建并激活一个新环境
pip install llmstudio
如果您想使用UI,请安装bun
curl -fsSL https://bun.sh/install | bash
在运行LLMstudio的同一路径下创建一个.env
文件
OPENAI_API_KEY="sk-api_key"
ANTHROPIC_API_KEY="sk-api_key"
现在您应该能够使用以下命令运行LLMstudio。
llmstudio server --ui
设置--ui
标志后,您将能够在http://localhost:3000访问UI
📖 文档
- 访问我们的文档了解SDK如何工作(即将推出)
- 查看我们的notebook示例,跟随交互式教程学习
👨💻 贡献
培训
感谢您选择LLMstudio。您完善AI交互的旅程从这里开始。