langcorn - LangChain模型部署与管理服务

项目介绍：Langcorn

Langcorn 是一个强大的 API 服务器，旨在让用户轻松部署和使用 LangChain 模型及其处理流水线。通过整合 FastAPI，这款工具提供了一个高效且稳健的开发体验，专为语言处理应用的开发人员而设计。

功能特色

Langcorn 提供了一组全面的功能，使得语言处理变得更加简单高效：

便捷部署：支持快速部署 LangChain 模型和处理流水线。
即时身份验证：内置支持用户认证功能。
高性能：利用 FastAPI 框架快速响应请求。
可伸缩性：提供一个稳健的解决方案以满足语言处理应用的不同需求。
自定义处理：允许用户创建和使用自定义的处理流水线。
丰富的文档：提供详细的 RESTful API 端点文档。
异步处理：提高响应速度，增强用户体验。

📦 安装指南

要开始使用 LangCorn，只需使用 pip 来安装该软件包：

pip install langcorn

⛓️ 快速上手

以下是一个简单的 LangChain 使用示例，通过 Python 代码展示了如何配置和运行 LangCorn 服务器：

import os
from langchain import LLMMathChain, OpenAI

os.environ["OPENAI_API_KEY"] = os.environ.get("OPENAI_API_KEY", "sk-********")

llm = OpenAI(temperature=0)
chain = LLMMathChain(llm=llm, verbose=True)

然后，通过以下命令运行您的 LangCorn FastAPI 服务器：

langcorn server examples.ex1:chain

或选择另一种方式：

python -m langcorn server examples.ex1:chain

运行多个处理链

Langcorn 通过同时运行多个处理链来扩展应用程序的能力：

python -m langcorn server examples.ex1:chain examples.ex2:chain

API 文档

LangCorn 提供了直观的 FastAPI 文档界面，用户可以通过浏览器访问详细的 API 文档。在线示例

权限管理

通过配置 auth_token 参数，LangCorn 支持静态 API 令牌认证，以保护您的 API 端点。

python langcorn server examples.ex1:chain examples.ex2:chain --auth_token=api-secret-value

或者

app:FastAPI = create_service("examples.ex1:chain", auth_token="api-secret-value")

自定义 API 密钥

LangCorn 允许用户通过自定义 API 密钥进行请求验证，确保处理安全。

内存处理

LangCorn 支持用户输入及其上下文的内存功能，使得系统在运行中可以持久性地记忆用户交互历史。

{
  "history": "string",
  "input": "What is brain?",
  "memory": [
    {
      "type": "human",
      "data": {
        "content": "What is memory?",
        "additional_kwargs": {}
      }
    },
    {
      "type": "ai",
      "data": {
        "content": " Memory is the ability of the brain to store, retain, and recall information.",
        "additional_kwargs": {}
      }
    }
  ]
}

自定义运行功能

用户可以自定义运行函数来满足特定需求。例如：

def run(query: str) -> Joke:
    output = chain.run(query)
    return parser.parse(output)

app: FastAPI = create_service("examples.ex12:run")

贡献与合作

LangCorn 欢迎广大开发者参与项目贡献。可通过 Fork 仓库、创建分支、提交变更等方式加入社区贡献。

许可证

LangCorn 遵循 MIT 开源许可证，鼓励自由使用和拓展。

希望通过这种简洁高效的工具，用户能够更轻松地开发和部署语言处理应用，提高工作效率和应用表现。LangCorn，将成为您工作中不可或缺的工具。