H-optimus-0

项目简介

H-optimus-0是一个专为组织学设计的开源基础模型，由Bioptimus公司开发。这个模型具有11亿参数的视觉转换器（Vision Transformer），训练数据来自一个超过500,000张H&E染色全片组织学图像的专有数据库。用户可以通过访问Bioptimus的GitHub仓库获取更多信息。

应用领域

H-optimus-0可以用于提取组织学图像中的强大特征，这些特征可应用于多种下游任务，如突变预测、生存分析或组织分类等领域。

使用方法

为了提取特征，用户可以使用下面的代码进行推断。H-optimus-0需要输入大小为224x224，像素精度为每像素0.5微米的图像。

from huggingface_hub import login
import torch
import timm 
from torchvision import transforms

# 登录Hugging Face hub，使用用户访问令牌
login()

model = timm.create_model(
    "hf-hub:bioptimus/H-optimus-0", pretrained=True, init_values=1e-5, dynamic_img_size=False
)
model.to("cuda")
model.eval()

transform = transforms.Compose([
    transforms.ToTensor(),
    transforms.Normalize(
        mean=(0.707223, 0.578729, 0.703617), 
        std=(0.211883, 0.230117, 0.177517)
    ),
])

input = torch.rand(3, 224, 224)
input = transforms.ToPILImage()(input)

# 推荐使用混合精度进行更快速的推断。
with torch.autocast(device_type="cuda", dtype=torch.float16):
    with torch.inference_mode():
        features = model(transform(input).unsqueeze(0).to("cuda"))

assert features.shape == (1, 1536)

引用信息

如果您发现该项目有用，可以考虑参考并引用我们的工作：

@software{hoptimus0,
  author = {Saillard, Charlie and Jenatton, Rodolphe and Llinares-López, Felipe and Mariet, Zelda and Cahané, David and Durand, Eric and Vert, Jean-Philippe},
  title = {H-optimus-0},
  url = {https://github.com/bioptimus/releases/tree/main/models/h-optimus/v0},
  year = {2024},
}

H-optimus-0在医学成像、病理学等多个领域提供了一种先进的解决方案，借助自监督学习和视觉转换技术，显著提升了组织图像特征提取的能力。