CONCH - 病理学视觉语言模型提升多任务性能

CONCH项目介绍

什么是CONCH？

CONCH的全称为“CONtrastive learning from Captions for Histopathology”，是一个专为病理学设计的视觉语言基础模型。它使用目前最大的病理学特定视觉语言数据集进行预训练，包含117万对图像和标题对。与其他视觉语言基础模型相比，CONCH在计算病理学的14项任务中表现卓越，这些任务包括图像分类、文本到图像及图像到文本检索、图像标题生成以及组织分割。

为什么选择CONCH？

相较于其他仅在H&E图像上进行预训练的自监督编码器，CONCH能够在非H&E染色图像（如IHC和特殊染色）上生成更具表现力的表示。此外，CONCH不使用常见的公开组织学幻灯片集合，如TCGA、PAIP、GTEX等进行预训练，因此能够帮助研究社区建立和评估病理学AI模型，同时在公共基准或者私人病理学幻灯片集合上保持数据污染风险最低。

访问申请

如要使用CONCH模型，用户必须同意所有使用条款，并确保Hugging Face账号的主要邮箱地址与所属机构的邮箱地址一致。如果主要邮箱为个人邮箱（如@gmail、@hotmail、@qq），申请将被拒绝。用户需要提供详细的研究用途描述，并确保所有申请表单信息的准确性。

许可证和使用条款

CONCH模型及其相关代码采用CC-BY-NC-ND 4.0许可，仅限于非商业、学术研究用途，并需适当署名。任何商业用途、销售或其他变现行为均需事先获得批准。模型下载需要在Hugging Face平台上注册，并且同意其使用条款。

模型详细信息

开发者： 哈佛大学/布列根妇女医院的Mahmood Lab AI病理实验室
模型类型： 预训练的视觉-语言编码器（视觉编码器：ViT-B/16，90M参数；文本编码器：L12-E768-H12，110M参数）
预训练数据集： 117万对病理图像-标题对
项目代码库： GitHub链接
许可： CC-BY-NC-ND-4.0

使用方法

要安装CONCH库，可以使用以下命令：

pip install git+https://github.com/Mahmoodlab/CONCH.git

请求访问模型权重后，可以使用如下代码加载模型：

from conch.open_clip_custom import create_model_from_pretrained
model, preprocess = create_model_from_pretrained('conch_ViT-B-16', "hf_hub:MahmoodLab/conch", hf_auth_token="<your_user_access_token>")

模型可以用于零样本ROI分类、图像与文本的检索等任务。

训练详情

训练数据： 来自公共可用的Pubmed Central Open Access（PMC-OA）和内部策划来源的117万个人类病理学图像-标题对。
硬件： 8台Nvidia A100
培训时间： 大约21.5小时
软件： PyTorch 2.0，CUDA 11.7

联系方式

如有任何问题或意见，请联系：

Faisal Mahmood（faisalmahmood@bwh.harvard.edu）
Ming Y. Lu（mlu16@bwh.harvard.edu）
Bowen Chen（bchen18@bwh.harvard.edu）

致谢

CONCH项目得益于出色的开源代码库，如openclip、timm以及huggingface transformers。感谢贡献者的付出。

引用格式

@article{lu2024avisionlanguage,
  title={A visual-language foundation model for computational pathology},
  author={Lu, Ming Y and Chen, Bowen and Williamson, Drew FK and Chen, Richard J and Liang, Ivy and Ding, Tong and Jaume, Guillaume and Odintsov, Igor and Le, Long Phi and Gerber, Georg and others},
  journal={Nature Medicine},
  pages={863–874},
  volume={30},
  year={2024},
  publisher={Nature Publishing Group}
}

CONCH项目为研究领域提供了一个多用途的工具，以其强大的图像和文本处理能力，助推病理学研究的发展。