Lanarky: 构建LLM微服务的现代化Web框架

Lanarky简介

Lanarky是一个基于Python 3.9+的Web框架,专门为构建大语言模型(LLM)微服务而设计。它提供了一套强大而灵活的工具,使开发者能够快速构建和部署LLM应用。

Lanarky Logo

Lanarky的核心特性

LLM优先: Lanarky是专为LLM开发者打造的框架,充分考虑了LLM应用的特殊需求。
快速现代: 基于FastAPI构建,继承了其高性能和现代化特性。
流式支持: 内置HTTP和WebSocket的流式处理能力,适用于实时LLM应用。
开源免费: 完全开源,永久免费使用。
无厂商锁定: 框架设计保证了与LLM工具和云服务提供商的独立性。

安装和快速开始

安装Lanarky

Lanarky可以通过pip轻松安装:

pip install lanarky

快速开始示例

以下是一个使用OpenAI ChatCompletion服务的简单微服务示例:

from lanarky import Lanarky
from lanarky.adapters.openai.resources import ChatCompletionResource
from lanarky.adapters.openai.routing import OpenAIAPIRouter

app = Lanarky()
router = OpenAIAPIRouter()

@router.post("/chat")
def chat(stream: bool = True) -> ChatCompletionResource:
    system = "You are a sassy assistant"
    return ChatCompletionResource(stream=stream, system=system)

app.include_router(router)

这个简单的示例展示了Lanarky的强大抽象能力,仅需几行代码即可创建一个功能完备的LLM微服务。

Lanarky的优势

1. 专注LLM开发

Lanarky的设计理念围绕LLM应用开发,提供了许多LLM特定的功能和优化。这使得开发者可以专注于业务逻辑,而不必过多关注底层实现细节。

2. 高性能和可扩展性

基于FastAPI构建,Lanarky继承了其高性能特性。异步支持和基于Starlette的设计使得Lanarky能够处理高并发负载,适合构建大规模LLM应用。

3. 流式处理能力

内置的HTTP和WebSocket流式处理支持,使得开发实时交互式LLM应用变得轻而易举。这对于构建聊天机器人等需要即时响应的应用尤为重要。

4. 灵活性和可定制性

Lanarky提供了高度灵活的API,允许开发者根据需求自定义和扩展功能。无论是简单的原型还是复杂的生产级应用,Lanarky都能胜任。

5. 丰富的生态系统

作为一个开源项目,Lanarky拥有活跃的社区支持。丰富的文档、示例和社区贡献使得学习曲线变得平缓,同时也为框架带来了持续的改进和创新。

深入Lanarky的核心概念

Lanarky应用结构

一个典型的Lanarky应用包含以下几个关键组件:

Lanarky实例: 应用的核心,负责协调各个组件。
路由器: 定义API端点和处理逻辑。
资源: 封装LLM服务的交互逻辑。
中间件: 提供请求处理前后的钩子。

自定义LLM集成

Lanarky的设计允许轻松集成各种LLM服务。以下是一个集成自定义LLM服务的示例:

from lanarky import Lanarky
from lanarky.adapters.base import BaseResource, BaseRouter

class CustomLLMResource(BaseResource):
    def process(self, *args, **kwargs):
        # 实现自定义LLM处理逻辑
        pass

class CustomLLMRouter(BaseRouter):
    def setup_routes(self):
        self.add_api_route("/custom", self.custom_endpoint, methods=["POST"])

    async def custom_endpoint(self, request):
        # 处理请求并返回结果
        pass

app = Lanarky()
router = CustomLLMRouter()
app.include_router(router)

这种灵活的设计使得Lanarky能够适应各种LLM服务和场景。