lanarky - 基于FastAPI的LLM微服务开发框架

用于构建大语言模型微服务的Web框架。

⚠️ 免责声明：本项目现已进入维护模式。由于我已转向其他项目和优先事项，我将不会添加新功能或主动维护该项目。虽然我会在需要时解决关键bug和安全问题，但我这边的积极开发已经停止。如果社区认为它有用，我鼓励大家继续为项目做出贡献。感谢您使用lanarky！

Lanarky是一个面向希望使用大语言模型构建微服务的开发者的**Python (3.9+)**Web框架。以下是它的一些主要特点：

以LLM为先：与其他Web框架不同，lanarky专为LLM开发者而设计。它在构建微服务方面不持固定观点，并确保与任何LLM工具框架或云服务提供商都不会产生供应商锁定
快速且现代：构建于FastAPI之上，lanarky提供了所有您熟悉和喜爱的FastAPI功能。如果您不熟悉FastAPI，请访问fastapi.tiangolo.com了解更多信息
流式传输：对于许多实时LLM应用（如聊天机器人）来说，流式传输至关重要。Lanarky通过内置的HTTP和WebSockets流式传输支持为您提供全面保障
开源：Lanarky是开源的，永久免费使用

要了解更多关于lanarky的信息并开始使用，您可以在lanarky.ajndkr.com找到完整的文档

安装

该库可在PyPI上获得，可通过pip安装：

pip install lanarky

入门

Lanarky提供了一个强大的抽象层，使开发者能够用几行代码构建简单的LLM微服务。

以下是一个使用OpenAI的ChatCompletion服务构建简单微服务的示例：

from lanarky import Lanarky
from lanarky.adapters.openai.resources import ChatCompletionResource
from lanarky.adapters.openai.routing import OpenAIAPIRouter

app = Lanarky()
router = OpenAIAPIRouter()


@router.post("/chat")
def chat(stream: bool = True) -> ChatCompletionResource:
    system = "You are a sassy assistant"
    return ChatCompletionResource(stream=stream, system=system)


app.include_router(router)

访问入门指南获取使用Lanarky构建和测试您的第一个LLM微服务的完整教程。