CLIP-as-service简介
CLIP-as-service是由Jina AI开发的一个低延迟、高扩展性的图像和文本嵌入服务。它可以轻松集成为神经搜索解决方案中的微服务,具有以下特点:
-
⚡ 快速: 使用TensorRT、ONNX运行时和PyTorch无JIT提供CLIP模型,QPS可达800。非阻塞双工流式处理请求和响应,适用于大数据和长时间运行的任务。
-
🫐 弹性: 在单个GPU上横向扩展多个CLIP模型,具有自动负载均衡功能。
-
🐥 易用: 无学习曲线,客户端和服务器采用极简设计。直观一致的图像和句子嵌入API。
-
👒 现代: 支持异步客户端。可以轻松在gRPC、HTTP、WebSocket协议之间切换,支持TLS和压缩。
-
🍱 集成: 与Jina和DocArray等神经搜索生态系统无缝集成。可以快速构建跨模态和多模态解决方案。
安装指南
CLIP-as-service由clip-server和clip-client两个Python包组成,可以独立安装。两者都需要Python 3.7+。
安装服务器
根据不同的运行时,可以选择以下安装方式:
- PyTorch运行时:
pip install clip-server
- ONNX运行时:
pip install "clip-server[onnx]"
- TensorRT运行时:
pip install nvidia-pyindex
pip install "clip-server[tensorrt]"
你也可以在Google Colab上托管服务器,利用其免费的GPU/TPU资源。
安装客户端
pip install clip-client
快速上手
- 启动服务器:
python -m clip_server
记住服务器地址和端口。
- 创建客户端:
from clip_client import Client
c = Client('grpc://0.0.0.0:51000')
- 获取句子嵌入:
r = c.encode(['First do it', 'then do it right', 'then do it better'])
print(r.shape) # [3, 512]
- 获取图像嵌入:
r = c.encode(['apple.png', # 本地图像
'https://clip-as-service.jina.ai/_static/favicon.png', # 远程图像
'data:image/gif;base64,R0lGODlhEAAQAMQAAORHHOVSKudfOulrSOp3WOyDZu6QdvCchPGolfO0o/XBs/fNwfjZ0frl3/zy7////wAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAACH5BAkAABAALAAAAAAQABAAAAVVICSOZGlCQAosJ6mu7fiyZeKqNKToQGDsM8hBADgUXoGAiqhSvp5QAnQKGIgUhwFUYLCVDFCrKUE1lBavAViFIDlTImbKC5Gm2hB0SlBCBMQiB0UjIQA7']) # 图像URI
print(r.shape) # [3, 512]
更多详细的服务器和客户端使用指南请参考官方文档。
示例应用
文本到图像的跨模态搜索
让我们使用CLIP-as-service构建一个简单的文本到图像搜索应用。用户可以输入一个句子,程序返回匹配的图像。我们将使用Totally Looks Like数据集和DocArray包。
完整代码和演示效果请查看GitHub仓库。
图像到文本的跨模态搜索
我们还可以将上述程序的输入和输出切换,实现图像到文本的搜索。给定一个查询图像,找到最能描述该图像的句子。
完整代码和演示效果请查看GitHub仓库。
使用CLIP模型对图像-文本匹配进行排序
从0.3.0版本开始,CLIP-as-service添加了一个新的/rank端点,可以根据CLIP模型中的联合似然对跨模态匹配进行重新排序。
示例代码:
from clip_client import Client
from docarray import Document
c = Client(server='grpc://0.0.0.0:51000')
r = c.rank(
[
Document(
uri='.github/README-img/rerank.png',
matches=[
Document(text=f'a photo of a {p}')
for p in (
'control room',
'lecture room',
'conference room',
'podium indoor',
'television studio',
)
],
)
]
)
print(r['@m', ['text', 'scores__clip_score__value']])
更多示例请查看GitHub仓库。
学习资源
社区支持
- 加入Discord社区与其他社区成员讨论想法。
- 观看Engineering All Hands了解Jina的新功能并了解最新的AI技术。
- 订阅YouTube频道获取最新视频教程。
CLIP-as-service由Jina AI支持,并在Apache-2.0许可下开源。我们正在积极招聘AI工程师、解决方案工程师,共同构建下一代开源神经搜索生态系统。
通过以上资源,你可以快速入门CLIP-as-service,并深入了解这个强大的工具。祝你学习愉快!
