病理语言和图像预训练(PLIP)
病理语言和图像预训练(PLIP)是第一个用于病理AI的视觉和语言基础模型。PLIP是一个大规模预训练模型,可用于从病理图像和文本描述中提取视觉和语言特征。该模型是原始CLIP模型的微调版本。
资源
- 📚 官方演示
- 📚 PLIP on HuggingFace
- 📚 论文
内部API使用
from plip.plip import PLIP
import numpy as np
plip = PLIP('vinid/plip')
# 创建图像嵌入和文本嵌入
image_embeddings = plip.encode_images(images, batch_size=32)
text_embeddings = plip.encode_text(texts, batch_size=32)
# 将嵌入标准化为单位范数(这样我们可以使用点积而不是余弦相似度进行比较)
image_embeddings = image_embeddings/np.linalg.norm(image_embeddings, ord=2, axis=-1, keepdims=True)
text_embeddings = text_embeddings/np.linalg.norm(text_embeddings, ord=2, axis=-1, keepdims=True)
HuggingFace API使用
from PIL import Image
from transformers import CLIPProcessor, CLIPModel
model = CLIPModel.from_pretrained("vinid/plip")
processor = CLIPProcessor.from_pretrained("vinid/plip")
image = Image.open("images/image1.jpg")
inputs = processor(text=["标签1的照片", "标签2的照片"],
images=image, return_tensors="pt", padding=True)
outputs = model(**inputs)
logits_per_image = outputs.logits_per_image # 这是图像-文本相似度得分
probs = logits_per_image.softmax(dim=1)
print(probs)
image.resize((224, 224))
引用
如果您在研究中使用PLIP,请引用以下论文:
@article{huang2023visual,
title={A visual--language foundation model for pathology image analysis using medical Twitter},
author={Huang, Zhi and Bianchi, Federico and Yuksekgonul, Mert and Montine, Thomas J and Zou, James},
journal={Nature Medicine},
pages={1--10},
year={2023},
publisher={Nature Publishing Group US New York}
}
致谢
内部API已从FashionCLIP复制。