Phikon:一个用于组织病理学的自监督学习模型

Ray

HistoSSLscaling

Phikon:推动组织病理学自监督学习的新进展

组织病理学是癌症诊断和研究的重要工具,但对大量病理切片图像进行标注是一项耗时且昂贵的工作。为了解决这一挑战,Owkin公司的研究人员开发了Phikon,这是一个专门针对组织病理学的自监督学习模型。

Phikon的主要特点

  • 基于Vision Transformer (ViT)架构
  • 使用iBOT框架进行预训练,结合了掩码图像建模和对比学习
  • 在来自16种不同癌症类型的4000多万张组织病理学图像上进行了预训练
  • 能够生成768维的图像特征向量

在多种下游任务中表现出色

研究人员在7种癌症类型的17个下游任务上评估了Phikon的性能,涵盖了整张切片和小图块级别的分类任务。结果表明:

  1. Phikon的特征表示优于ImageNet预训练模型和纯对比学习模型(如MoCo v2)
  2. 通过适当扩展,ViT模型能够学习到泛癌症的表示,有利于各种下游任务
  3. 在大多数弱监督的整张切片分类任务中,Phikon实现了最先进的性能

开源资源促进研究

为了推动这一领域的研究,Owkin团队开源了以下资源:

  • Phikon模型权重
  • 特征提取代码
  • 11个TCGA队列和Camelyon16数据集的预计算特征
  • 下游任务评估代码

研究人员可以直接使用这些资源来复现论文结果,或将Phikon应用于自己的组织病理学研究项目中。

未来展望

Phikon的成功表明,大规模自监督学习可以为组织病理学带来突破性进展。随着更多数据的积累和模型的进一步优化,我们有望看到计算病理学在癌症诊断和个性化医疗方面发挥越来越重要的作用。

总的来说,Phikon为组织病理学的人工智能应用开辟了新的道路,有望推动这一领域的快速发展。研究人员和医疗机构可以利用这一开源资源,共同推动组织病理学AI技术的进步。

avatar
0
0
0
相关项目
Project Cover

monodepth2

本项目提供了PyTorch实现的代码,用于训练和测试深度估计模型。代码采用自监督学习方法,支持单目和立体图像的深度预测。提供多种预训练模型和自定义数据集,兼容不同的图像分辨率。适用于研究和非商业用途,包含详细的设置指南、训练和评估说明。用户可通过此项目高效开发和优化深度估计模型。

Project Cover

DALLE2-pytorch

DALL-E 2的Pytorch实现由OpenAI开发,采用先进的神经网络技术将文本描述转化为高质量图像。本版本特别优化扩散先验网络,提供高性能的模型变体。开源项目鼓励开发者通过GitHub和Hugging Face参与贡献,并在Discord社区进行交流和支持。

Project Cover

awesome-self-supervised-learning

精选自监督学习资源,覆盖理论研究与各领域实际应用,如计算机视觉、机器学习等。本项目常更新,已成为AI领域必备的研究与教学资源。

Project Cover

Awesome-MIM

该项目汇总了掩码图像建模(MIM)及相关的自监督学习方法。涵盖了从2008年以来的主要自监督学习研究,并展示了其在自然语言处理和计算机视觉领域的发展历程和关键节点。所有内容按时间顺序排列并定期更新,包括相关论文、代码和框架的详细信息,旨在帮助研究者深入理解和应用MIM方法。欢迎贡献相关文献或修正建议。

Project Cover

Awesome-Denoise

本项目汇总了图像与视频去噪领域的多项最新研究,通过色彩空间、图像类型和噪声模型进行分类。包含RGB、Raw以及两者兼顾的色彩空间,单张图像、连拍和视频的图像类型,以及多种噪声模型如加性白高斯噪声、泊松高斯噪声和基于生成对抗网络的噪声模型。此外,项目还整理了多个基准数据集和自监督去噪的研究论文,为研究人员提供全面的参考资源。

Project Cover

S3Gaussian

S3Gaussian使用3D高斯模型进行自监督动态街景解析,增强了自动驾驶的场景分解和渲染效果。该项目采用多分辨率hexplane编码器和多头高斯解码器,将4D网格编码为特征平面,并解码为4D高斯模型。无需额外注释即可优化模型。最新代码和评估已发布,详细介绍了环境配置、数据准备、训练和可视化过程。

Project Cover

lightly

这个开源项目提供简单易用的自监督学习工具,支持自定义骨干模型和分布式训练。通过模块化设计,用户可以自由调整损失函数和模型头。项目还提供商业版本,包含用于嵌入、分类、检测和分割任务的预训练模型。此外,平台集成了主动学习和数据策划功能,适用于大规模数据处理和强大算法的应用。

Project Cover

solo-learn

solo-learn库基于PyTorch Lightning,提供多种自监督方法用于无监督视觉表征学习。该库包含全面的训练技巧和多种数据处理、评估方式,以提高训练效果和可重复性。其主要特点有快速的数据处理、自定义模型检查点、线上和线下的K-NN评估。库内包含灵活的数据增强、可视化功能,并不断更新方法和改进教程,使模型训练和调试更加高效简便。

Project Cover

AI-Optimizer

AI-Optimizer是一款多功能深度强化学习平台,涵盖从无模型到基于模型,从单智能体到多智能体的多种算法。其分布式训练框架高效便捷,支持多智能体强化学习、离线强化学习、迁移和多任务强化学习、自监督表示学习等,解决维度诅咒、非平稳性和探索-利用平衡等难题,广泛应用于无人机、围棋、扑克、机器人控制和自动驾驶等领域。

最新项目
Project Cover

豆包MarsCode

豆包 MarsCode 是一款革命性的编程助手,通过AI技术提供代码补全、单测生成、代码解释和智能问答等功能,支持100+编程语言,与主流编辑器无缝集成,显著提升开发效率和代码质量。

Project Cover

AI写歌

Suno AI是一个革命性的AI音乐创作平台,能在短短30秒内帮助用户创作出一首完整的歌曲。无论是寻找创作灵感还是需要快速制作音乐,Suno AI都是音乐爱好者和专业人士的理想选择。

Project Cover

有言AI

有言平台提供一站式AIGC视频创作解决方案,通过智能技术简化视频制作流程。无论是企业宣传还是个人分享,有言都能帮助用户快速、轻松地制作出专业级别的视频内容。

Project Cover

Kimi

Kimi AI助手提供多语言对话支持,能够阅读和理解用户上传的文件内容,解析网页信息,并结合搜索结果为用户提供详尽的答案。无论是日常咨询还是专业问题,Kimi都能以友好、专业的方式提供帮助。

Project Cover

阿里绘蛙

绘蛙是阿里巴巴集团推出的革命性AI电商营销平台。利用尖端人工智能技术,为商家提供一键生成商品图和营销文案的服务,显著提升内容创作效率和营销效果。适用于淘宝、天猫等电商平台,让商品第一时间被种草。

Project Cover

吐司

探索Tensor.Art平台的独特AI模型,免费访问各种图像生成与AI训练工具,从Stable Diffusion等基础模型开始,轻松实现创新图像生成。体验前沿的AI技术,推动个人和企业的创新发展。

Project Cover

SubCat字幕猫

SubCat字幕猫APP是一款创新的视频播放器,它将改变您观看视频的方式!SubCat结合了先进的人工智能技术,为您提供即时视频字幕翻译,无论是本地视频还是网络流媒体,让您轻松享受各种语言的内容。

Project Cover

美间AI

美间AI创意设计平台,利用前沿AI技术,为设计师和营销人员提供一站式设计解决方案。从智能海报到3D效果图,再到文案生成,美间让创意设计更简单、更高效。

Project Cover

AIWritePaper论文写作

AIWritePaper论文写作是一站式AI论文写作辅助工具,简化了选题、文献检索至论文撰写的整个过程。通过简单设定,平台可快速生成高质量论文大纲和全文,配合图表、参考文献等一应俱全,同时提供开题报告和答辩PPT等增值服务,保障数据安全,有效提升写作效率和论文质量。

投诉举报邮箱: service@vectorlightyear.com
@2024 懂AI·鲁ICP备2024100362号-6·鲁公网安备37021002001498号