Jina学习资源汇总 - 构建多模态AI应用的云原生技术栈

Jina简介

Jina是一个开源的Python框架,旨在帮助开发者使用云原生技术构建多模态AI应用。它提供了一套完整的工具和抽象,使构建和部署复杂的AI服务变得简单。

Jina架构图

Jina的主要特点包括:

支持构建和服务任何数据类型和主流深度学习框架的模型
提供高性能服务,支持简单扩展、双工客户端-服务器流、批处理等
可以流式传输LLM模型的输出
与Docker容器集成,支持OpenTelemetry/Prometheus可观测性
通过Jina AI Cloud简化CPU/GPU托管
支持部署到Kubernetes和Docker Compose

核心概念

Jina有三个基本层:

数据层:使用DocArray的BaseDoc和DocList作为输入/输出格式
服务层:Executor是处理文档的Python类,Gateway连接Flow中的所有Executor
编排层:Deployment服务单个Executor,Flow将多个Executor链接成管道

快速上手

安装

pip install jina

更多安装选项请参考Apple Silicon和Windows安装指南。

服务AI模型

让我们构建一个基于gRPC的AI服务,将StableLM语言模型包装成Jina Executor:

from jina import Executor, requests
from docarray import DocList, BaseDoc
from transformers import pipeline

class StableLM(Executor):
    def __init__(self, **kwargs):
        super().__init__(**kwargs)
        self.generator = pipeline(
            'text-generation', model='stabilityai/stablelm-base-alpha-3b'
        )
    
    @requests
    def generate(self, docs: DocList[Prompt], **kwargs) -> DocList[Generation]:
        generations = DocList[Generation]()
        prompts = docs.text
        llm_outputs = self.generator(prompts)
        for prompt, output in zip(prompts, llm_outputs):
            generations.append(Generation(prompt=prompt, text=output))
        return generations

然后使用Deployment部署它:

from jina import Deployment

dep = Deployment(uses=StableLM, timeout_ready=-1, port=12345)

with dep:
    dep.block()

构建管道

Jina Flow可以将多个微服务链接成一个管道。例如,我们可以将StableLM与Stable Diffusion图像生成模型结合:

Flow示意图

from jina import Flow
from executor import StableLM
from text_to_image import TextToImage

flow = (
    Flow(port=12345)
    .add(uses=StableLM, timeout_ready=-1)
    .add(uses=TextToImage, timeout_ready=-1)
)

with flow:
    flow.block()