Github
文档Langchain-serve 项目介绍
项目概述
langchain-serve 是一个帮助开发者将 LangChain 应用快速部署到 Jina AI Cloud 的工具。这个项目专注于利用 Jina 和 FastAPI，把大型语言模型（LLM）驱动的应用程序便捷地推向生产环境。通过 langchain-serve，用户只需简单几步就可以享受云的可扩展性和无服务器架构的好处，同时也可以选择在自己的基础设施上部署以保证数据的私密性。
项目特点
LLM 应用即服务
langchain-serve 可以将多种应用作为服务进行包装，并轻松部署到 Jina AI Cloud。以下是其中几个主要服务：
- AutoGPT-as-a-service：一个自动化执行任务的 AI 代理，通过一个简单的命令就可以部署并与外部服务整合。
- Babyagi-as-a-service：一个任务驱动的自主代理，能够自动化处理广泛的任务。
- pandas-ai-as-a-service：把 Pandas 数据框的处理能力和 LLM 的特性结合，通过简单配置在云上运行。
- Question Answer Bot on PDFs：使用 LLM 来回答 PDF 文档中问题的简单机器人。
主要功能
- 使用
@serving装饰器定义 API，轻松创建 REST/WebSocket 接口。 - 利用
@slackbot装饰器构建、部署和分发 Slack 机器人。 - 支持自定义 FastAPI 应用，提供用户友好的接口和强大的 API 授权机制。
安全、可扩展和无服务器架构
- 提供全球可用的 REST/Websocket 接口并自动配置 TLS 证书。
- 提供实时 Websocket 流媒体功能，便于人机交互。
- 支持 API 的可靠性和高效性的多种监控和日志追踪功能。
自托管选项
- 用户可通过 Docker Compose 或 Kubernetes 将应用全国内部署。
- 提供将应用导出为 Kubernetes 或 Docker Compose 的 YAML 文件的功能。
使用指南
要使用 langchain-serve，首先需要通过 pip 安装它：
pip install langchain-serve
使用 @serving 装饰器构建 REST API
用户可以参考 langchain-serve 提供的逐步指南，创建一个 REST API，并使用 @serving 装饰器进行部署。
部署和分发 LangChain 驱动的 Slack 机器人
该工具提供 @slackbot 装饰器，让开发者可以快速构建和分发 Slack 机器人，使用 LLM 提供强大功能，而无需担心基础设施的问题。
常见问题解答
- 如何解决
lc-serve未找到的命令问题。 - 如何处理连接 JCloud 托管应用时发生的超时。
价格和配置
JCloud 通过自定义 YAML 配置文件提供灵活的应用配置选项，允许用户根据需要调整实例类型、最小副本数和磁盘大小等参数来控制使用成本。
联系我们
如需要在有自己基础设施上部署 LLM 应用或有其他问题，欢迎加入我们的Discord 社区，我们期待帮助您解决各种需求。
