访问官网
Github
Huggingface
文档
论文XrayGPT：使用医疗视觉语言模型对胸部X光片进行概括。
Omkar Thawakar* , Abdelrahman Shaker* , Sahal Shaji Mullappilly* , Hisham Cholakkal, Rao Muhammad Anwer, Salman Khan, Jorma Laaksonen, 和 Fahad Shahbaz Khan。
*平等贡献
阿联酋摩罕默德·本·扎耶德人工智能大学
:rocket: 新闻
- 8月4日: 我们的论文已被BIONLP-ACL 2024接受 :fire:
- 6月14日: 我们的技术报告已发布 here. :fire::fire:
- 5月25日: 我们的技术报告将很快发布。敬请关注!
- 5月19日: 我们的代码、模型和预处理的报告概要已发布。
在线演示
您可以使用提供的示例或上传自己的X光片来尝试我们的演示: 链接1 | 链接2 | 链接3 。
关于XrayGPT
- XrayGPT旨在刺激围绕基于给定X光片的自动化胸部X光片分析的研究。
- LLM（Vicuna）在医疗数据（10万个患者和医生之间的实际对话）和约30,000个放射学对话上进行了微调,以获取特定领域的相关特征。
- 我们从两个数据集（MIMIC-CXR和OpenI）的自由文本放射线报告中生成交互式和干净的总结（约21.7万个）。这些总结有助于通过在高质量数据上微调线性变换层来提高LLMs的性能。有关我们高质量总结的更多详细信息,请查看数据集创建。
- 我们使用简单的线性变换将冻结的医疗视觉编码器（MedClip）与微调的LLM（Vicuna）进行对齐。
入门
安装
1. 准备代码和环境
克隆存储库并创建 anaconda 环境
git clone https://github.com/mbzuai-oryx/XrayGPT.git
cd XrayGPT
conda env create -f env.yml
conda activate xraygpt
或
git clone https://github.com/mbzuai-oryx/XrayGPT.git
cd XrayGPT
conda create -n xraygpt python=3.9
conda activate xraygpt
pip install -r xraygpt_requirements.txt
设置
1. 为训练准备数据集
请参考dataset_creation了解更多详细信息。
下载预处理的注释 mimic 和 openi。 相应的图像文件夹包含来自数据集的图像。
最终的数据集文件夹结构如下:
dataset
├── mimic
| ├── image
| | ├──abea5eb9-b7c32823-3a14c5ca-77868030-69c83139.jpg
| | ├──427446c1-881f5cce-85191ce1-91a58ba9-0a57d3f5.jpg
| | .....
| ├──filter_cap.json
├── openi
| ├── image
| | ├──1.jpg
| | ├──2.jpg
| | .....
| ├──filter_cap.json
...
3. 准备预训练的Vicuna权重
我们在Vicuna-7B的v1版本上构建了XrayGPT。 我们使用精心挑选的放射线报告样本对Vicuna进行了微调。 从vicuna_weights下载Vicuna权重 最终的权重将在一个单独的文件夹中,结构类似于以下内容:
vicuna_weights
├── config.json
├── generation_config.json
├── pytorch_model.bin.index.json
├── pytorch_model-00001-of-00003.bin
...
然后,在模型配置文件"xraygpt/configs/models/xraygpt.yaml"的第16行设置vicuna权重的路径。 在放射学样本上微调Vicuna,请下载我们精选的放射学和医疗保健对话样本,并参考原始的Vicuna repo进行微调。Vicuna_Finetune
4. 下载预训练的Minigpt-4检查点
下载预训练的minigpt-4检查点。ckpt
5. XrayGPT的训练
A. 第一阶段的预训练
在第一阶段的预训练中,模型使用来自预处理的MIMIC数据集的图像-文本对进行训练。
要启动第一阶段的训练,运行以下命令。在我们的实验中,我们使用4个AMD MI250X GPU。
torchrun --nproc-per-node NUM_GPU train.py --cfg-path train_configs/xraygpt_mimic_pretrain.yaml
2. 第二阶段的OpenI微调
在第二阶段,我们使用由我们预处理的小型高质量图像-文本对OpenI数据集。
运行以下命令。在我们的实验中,我们使用AMD MI250X GPU。
torchrun --nproc-per-node NUM_GPU train.py --cfg-path train_configs/xraygpt_openi_finetune.yaml
在本地机器上启动演示
下载预训练的xraygpt检查点。link
将此ckpt添加到"eval_configs/xraygpt_eval.yaml"。
在您的本地机器上尝试gradio demo.py,使用以下命令:
python demo.py --cfg-path eval_configs/xraygpt_eval.yaml --gpu-id 0
示例
 |  |
 |  |
致谢
- MiniGPT-4 利用先进的大型语言模型增强视觉语言理解。我们的模型建立在MiniGPT-4的基础之上。
- MedCLIP 从无配对的医疗图像和文本中进行对比学习。我们使用了MedCLIP中的医疗感知图像编码器。
- BLIP2 XrayGPT的模型架构遵循BLIP-2。
- Lavis 此存储库建立在Lavis之上!
- Vicuna Vicuna的出色语言能力令人惊叹,并且是开源的!
引用
如果您在研究或应用中使用XrayGPT,请使用以下BibTeX引用:
@article{Omkar2023XrayGPT,
title={XrayGPT: Chest Radiographs Summarization using Large Medical Vision-Language Models},
author={Omkar Thawkar, Abdelrahman Shaker, Sahal Shaji Mullappilly, Hisham Cholakkal, Rao Muhammad Anwer, Salman Khan, Jorma Laaksonen and Fahad Shahbaz Khan},
journal={arXiv: 2306.07971},
year={2023}
}
许可
本存储库采用CC BY-NC-SA许可。请参考此处的许可条款。
