Phikon:推动组织病理学自监督学习的新进展
组织病理学是癌症诊断和研究的重要工具,但对大量病理切片图像进行标注是一项耗时且昂贵的工作。为了解决这一挑战,Owkin公司的研究人员开发了Phikon,这是一个专门针对组织病理学的自监督学习模型。
Phikon的主要特点
- 基于Vision Transformer (ViT)架构
- 使用iBOT框架进行预训练,结合了掩码图像建模和对比学习
- 在来自16种不同癌症类型的4000多万张组织病理学图像上进行了预训练
- 能够生成768维的图像特征向量
在多种下游任务中表现出色
研究人员在7种癌症类型的17个下游任务上评估了Phikon的性能,涵盖了整张切片和小图块级别的分类任务。结果表明:
- Phikon的特征表示优于ImageNet预训练模型和纯对比学习模型(如MoCo v2)
- 通过适当扩展,ViT模型能够学习到泛癌症的表示,有利于各种下游任务
- 在大多数弱监督的整张切片分类任务中,Phikon实现了最先进的性能
开源资源促进研究
为了推动这一领域的研究,Owkin团队开源了以下资源:
- Phikon模型权重
- 特征提取代码
- 11个TCGA队列和Camelyon16数据集的预计算特征
- 下游任务评估代码
研究人员可以直接使用这些资源来复现论文结果,或将Phikon应用于自己的组织病理学研究项目中。
未来展望
Phikon的成功表明,大规模自监督学习可以为组织病理学带来突破性进展。随着更多数据的积累和模型的进一步优化,我们有望看到计算病理学在癌症诊断和个性化医疗方面发挥越来越重要的作用。
总的来说,Phikon为组织病理学的人工智能应用开辟了新的道路,有望推动这一领域的快速发展。研究人员和医疗机构可以利用这一开源资源,共同推动组织病理学AI技术的进步。