Chinese-CLIP入门学习资料-中文版CLIP模型实现图文跨模态检索与表示生成

Ray

Chinese-CLIP

Chinese-CLIP入门学习资料汇总

Chinese-CLIP是CLIP模型的中文版本,基于约2亿的中文图文对数据进行训练,旨在帮助用户在中文领域快速实现图文特征提取、跨模态检索、零样本图像分类等任务。本文汇总了Chinese-CLIP项目的相关学习资源,帮助读者快速了解和使用该模型。

1. 项目简介

Chinese-CLIP项目地址:GitHub - OFA-Sys/Chinese-CLIP

Chinese-CLIP是基于open_clip project开发的,并针对中文数据做了优化。项目提供了API、训练代码和测试代码,涵盖了从模型训练到推理的全流程。

Chinese-CLIP Logo

2. 模型下载

Chinese-CLIP目前开源了5个不同规模的模型,包括:

CN-CLIP RN50
CN-CLIP ViT-B/16
CN-CLIP ViT-L/14
CN-CLIP ViT-L/14@336px
CN-CLIP ViT-H/14

各模型的详细信息和下载链接可在项目README中查看。

3. 快速使用

Chinese-CLIP提供了简单的API接口,可以快速实现图文特征提取和相似度计算。安装方法:

pip install cn_clip

使用示例:

import torch
from PIL import Image
import cn_clip.clip as clip

device = "cuda" if torch.cuda.is_available() else "cpu"
model, preprocess = clip.load_from_name("ViT-B-16", device=device, download_root='./')
model.eval()

image = preprocess(Image.open("examples/pokemon.jpeg")).unsqueeze(0).to(device)
text = clip.tokenize(["杰尼龟", "妙蛙种子", "小火龙", "皮卡丘"]).to(device)

with torch.no_grad():
    image_features = model.encode_image(image)
    text_features = model.encode_text(text)
    
    logits_per_image, logits_per_text = model.get_similarity(image, text)
    probs = logits_per_image.softmax(dim=-1).cpu().numpy()

print("Label probs:", probs)