CLIP-as-service入门学习资料 - 低延迟高扩展性的图像和文本嵌入服务

clip-as-service

CLIP-as-service简介

CLIP-as-service是由Jina AI开发的一个低延迟、高扩展性的图像和文本嵌入服务。它可以轻松集成为神经搜索解决方案中的微服务,具有以下特点:

⚡ 快速: 使用TensorRT、ONNX运行时和PyTorch无JIT提供CLIP模型,QPS可达800。非阻塞双工流式处理请求和响应,适用于大数据和长时间运行的任务。
🫐 弹性: 在单个GPU上横向扩展多个CLIP模型,具有自动负载均衡功能。
🐥 易用: 无学习曲线,客户端和服务器采用极简设计。直观一致的图像和句子嵌入API。
👒 现代: 支持异步客户端。可以轻松在gRPC、HTTP、WebSocket协议之间切换,支持TLS和压缩。
🍱 集成: 与Jina和DocArray等神经搜索生态系统无缝集成。可以快速构建跨模态和多模态解决方案。

安装指南

CLIP-as-service由clip-server和clip-client两个Python包组成,可以独立安装。两者都需要Python 3.7+。

安装服务器

根据不同的运行时,可以选择以下安装方式:

PyTorch运行时:

pip install clip-server

ONNX运行时:

pip install "clip-server[onnx]"

TensorRT运行时:

pip install nvidia-pyindex
pip install "clip-server[tensorrt]"

你也可以在Google Colab上托管服务器,利用其免费的GPU/TPU资源。

安装客户端

pip install clip-client

快速上手

启动服务器:

python -m clip_server

记住服务器地址和端口。

创建客户端:

from clip_client import Client

c = Client('grpc://0.0.0.0:51000')

获取句子嵌入:

r = c.encode(['First do it', 'then do it right', 'then do it better'])
print(r.shape)  # [3, 512]

获取图像嵌入:

r = c.encode(['apple.png',  # 本地图像
              'https://clip-as-service.jina.ai/_static/favicon.png',  # 远程图像
              'data:image/gif;base64,R0lGODlhEAAQAMQAAORHHOVSKudfOulrSOp3WOyDZu6QdvCchPGolfO0o/XBs/fNwfjZ0frl3/zy7////wAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAACH5BAkAABAALAAAAAAQABAAAAVVICSOZGlCQAosJ6mu7fiyZeKqNKToQGDsM8hBADgUXoGAiqhSvp5QAnQKGIgUhwFUYLCVDFCrKUE1lBavAViFIDlTImbKC5Gm2hB0SlBCBMQiB0UjIQA7'])  # 图像URI

print(r.shape)  # [3, 512]

更多详细的服务器和客户端使用指南请参考官方文档。

示例应用

文本到图像的跨模态搜索

让我们使用CLIP-as-service构建一个简单的文本到图像搜索应用。用户可以输入一个句子,程序返回匹配的图像。我们将使用Totally Looks Like数据集和DocArray包。

完整代码和演示效果请查看GitHub仓库。

图像到文本的跨模态搜索

我们还可以将上述程序的输入和输出切换,实现图像到文本的搜索。给定一个查询图像,找到最能描述该图像的句子。

完整代码和演示效果请查看GitHub仓库。

使用CLIP模型对图像-文本匹配进行排序

从0.3.0版本开始,CLIP-as-service添加了一个新的/rank端点,可以根据CLIP模型中的联合似然对跨模态匹配进行重新排序。

示例代码:

from clip_client import Client
from docarray import Document

c = Client(server='grpc://0.0.0.0:51000')
r = c.rank(
    [
        Document(
            uri='.github/README-img/rerank.png',
            matches=[
                Document(text=f'a photo of a {p}')
                for p in (
                    'control room',
                    'lecture room', 
                    'conference room',
                    'podium indoor',
                    'television studio',
                )
            ],
        )
    ]
)

print(r['@m', ['text', 'scores__clip_score__value']])

更多示例请查看GitHub仓库。