Project Icon

LLaVA-Med

生物医学视觉语言模型助力图像分析与智能问答

LLaVA-Med是一个针对生物医学领域的大规模语言和视觉模型。该模型通过课程学习方法对LLaVA进行了生物医学领域适应,在PathVQA和VQA-RAD等开放式生物医学问答任务中表现优异。LLaVA-Med支持多模态对话和视觉问答,为生物医学视觉语言处理研究提供了有力工具。需要注意的是,此模型仅供研究使用,不适用于临床决策。

LLaVA-Med: 生物医学大型语言和视觉助手

通过视觉指令微调,朝着在生物医学领域构建具有GPT-4级别能力的大型语言和视觉模型迈进。

[论文,NeurIPS 2023数据集和基准测试赛道(聚焦报告)]

LLaVA-Med:一天内训练生物医学大型语言-视觉助手

Chunyuan Li*,Cliff Wong*,Sheng Zhang*,Naoto Usuyama,Haotian Liu,Jianwei Yang,Tristan Naumann,Hoifung Poon,Jianfeng Gao (*贡献相同)


GLIGEN使用定位修复模式生成,包含三个框:"白色医生外套"、"听诊器"、"带红十字标志的白色医生帽"。

发布

  • [2024年5月13日] 🔥LLaVA-Med v1.5发布!它不仅显著更好(参见评估结果),而且使用起来更加简单:不再需要delta权重!现在你可以直接从🤗 Hub加载我们的模型。原始LLaVA-Med(即v1.0.0)代码库已移至Archive
  • [2023年11月8日] LLaVA-Med根据MSR发布政策开源。非常感谢团队的付出和社区的耐心等待。
  • [2023年9月] LLaVA-Med被NeurIPS 2023数据集和基准测试赛道接收,并作为聚焦报告。
  • [2023年6月1日] 🔥我们发布了LLaVA-Med:生物医学大型语言和视觉助手,这是朝着构建具有GPT-4级别能力的生物医学领域大型语言和视觉模型迈出的一步。查看论文


LLaVA-Med初始化为通用领域的LLaVA,然后以课程学习的方式持续训练(首先进行生物医学概念对齐,然后进行全面的指令微调)。我们在标准视觉对话和问答任务上评估了LLaVA-Med。

代码许可证 数据许可证 使用和许可声明:数据、代码和模型检查点仅供研究使用。它们还受到LLaMA、Vicuna和GPT-4各自使用条款规定的额外限制。数据以CC BY NC 4.0许可提供。数据、代码和模型检查点可用于非商业目的,使用该数据集训练的任何模型只能用于研究目的。明确禁止将在此数据上训练的模型用于临床护理或任何临床决策目的。

目录

安装

  1. 克隆此仓库并进入LLaVA-Med文件夹
https://github.com/microsoft/LLaVA-Med.git
cd LLaVA-Med
  1. 安装包:创建conda环境
conda create -n llava-med python=3.10 -y
conda activate llava-med
pip install --upgrade pip  # 启用PEP 660支持
pip install -e .

模型下载

模型描述🤗 Huggingface Hub
LLaVA-Med v1.5microsoft/llava-med-v1.5-mistral-7b

服务

Web UI

启动控制器

python -m llava.serve.controller --host 0.0.0.0 --port 10000

启动模型工作进程

python -m llava.serve.model_worker --host 0.0.0.0 --controller http://localhost:10000 --port 40000 --worker http://localhost:40000 --model-path microsoft/llava-med-v1.5-mistral-7b --multi-modal

等待进程完成加载模型,直到看到"Uvicorn running on ..."。

启动模型工作进程(多GPU,当GPU VRAM <= 24GB)

如果你的GPU VRAM小于24GB(例如RTX 3090、RTX 4090等),你可以尝试使用多个GPU运行。

python -m llava.serve.model_worker --host 0.0.0.0 --controller http://localhost:10000 --port 40000 --worker http://localhost:40000 --model-path microsoft/llava-med-v1.5-mistral-7b --multi-modal --num-gpus 2

等待进程完成加载模型,直到看到"Uvicorn running on ..."。

发送测试消息

python -m llava.serve.test_message --model-name llava-med-v1.5-mistral-7b --controller http://localhost:10000

启动gradio web服务器

python -m llava.serve.gradio_web_server --controller http://localhost:10000

现在你可以打开浏览器与模型聊天了。

评估

医学视觉对话(GPT辅助评估)

我们提供了用于多模态建模的GPT辅助评估管道,以全面了解视觉-语言模型的能力。有关更多详细信息,请参阅我们的论文。

1. Azure OpenAI连接信息

打开llava/eval/llm.py并插入你的Azure OpenAI端点和API密钥

openai_cxn_dict = {
    'default': {
      'endpoint': "在此插入你的AZURE OPENAI端点",
      'api_key': "在此插入你的AZURE OPENAI API密钥",
    },
  }
  • GPT-4推理仅使用Azure OpenAI API进行测试。如果你使用OpenAI API,需要将llava/eval/llm.py (第55行)中的AsyncAzureOpenAI替换为AsyncOpenAI。

2. 部署ID

llava/eval/eval_multimodal_chat_gpt_score.py (第55行)中,如有必要,替换为你的GPT-4模型部署ID:

3. 下载图像

wget https://hanoverprod.z21.web.core.windows.net/med_llava/multimodal_chat_eval/llava_med_test_image_urls.jsonl -P data/
python llava/data/download_images.py \
    --input_path data/llava_med_test_image_urls.jsonl \
    --pmc_output_path data/pmc \
    --images_output_path data/images

4. 多模态对话推理

在我们的案例中,llava_med_eval_qa50_qa.jsonl包含问题、上下文(标题和行内提及)以及由纯文本GPT-4(0314)生成的响应,我们将其视为真实标准。

PYTHONPATH=. python llava/eval/model_vqa.py \
    --conv-mode mistral_instruct \
    --model-path microsoft/llava-med-v1.5-mistral-7b \
    --question-file data/eval/llava_med_eval_qa50_qa.jsonl \
    --image-folder data/images \
    --answers-file /path/to/answer-file.jsonl \
    --temperature 0.0

5. GPT-4对生成答案的评估

python llava/eval/eval_multimodal_chat_gpt_score.py \
    --answers-file /path/to/answer-file.jsonl \
    --question-file data/eval/llava_med_eval_qa50_qa.jsonl \
    --scores-file /path/to/scores-file.jsonl

6. 总结评估结果

python llava/eval/summarize_gpt_review.py \
    --scores-file /path/to/scores-file.jsonl

数据下载

LLaVA-Med数据集


生物医学多模态指令遵循数据的统计信息:(a,b)指令和响应的词根动词-名词对,其中图的内圈代表输出响应的词根动词,外圈代表直接名词。(c)五个领域的图像和问答对分布,每个领域显示一张图像。

数据下载

对齐数据文件大小
llava_med_alignment_500k.json341.52 MiB
图片URL大小
llava_med_image_urls.jsonl122.82 MiB

download_images.py用于使用上述image_urls文件下载PMC文章并提取图片

要下载我们的语言-图像多模态指令跟随数据集,请运行以下脚本:

sh download_data.sh

存档

模型描述

生物医学大型语言与视觉助手(即"LLaVA-Med")是一个使用课程学习方法训练的大型语言和视觉模型,用于将LLaVA适应到生物医学领域。这是一个开源发布,仅用于研究用途,以促进相应论文的可复现性。该论文声称在开放式生物医学问答任务中表现有所提升,包括常见的视觉问答(VQA)基准数据集,如PathVQA和VQA-RAD。

模型用途

预期用途

数据、代码和模型检查点仅用于(I)未来的视觉语言处理研究和(II)复现参考论文中报告的实验结果。数据、代码和模型检查点不应用于临床护理或任何临床决策制定目的。

主要预期用途

主要预期用途是支持人工智能研究人员复现并在此基础上进行研究。LLaVA-Med及其相关模型应有助于探索各种生物医学视觉语言处理(VLP)和视觉问答(VQA)研究问题。

超出范围的使用

模型的任何部署使用情况——无论是商业还是其他用途——都超出了范围。尽管我们使用一系列公开可用的研究基准对模型进行了评估,但这些模型和评估仅供研究使用,不适用于部署场景。更多详情请参阅相关论文

数据

该模型基于PMC-15M数据集构建,这是一个用于生物医学视觉语言处理的大规模平行图像-文本数据集。它包含从PubMed Central的生物医学研究文章中提取的1500万个图像-标题对。它涵盖了多种生物医学图像类型,如显微镜、X射线、组织学等。

局限性

该模型使用英语语料库开发,因此可能被视为仅支持英语。该模型在LLaVA-Med论文中描述的一系列狭窄的生物医学基准任务上进行了评估。因此,它不适合在任何临床环境中使用。在某些条件下,该模型可能会做出不准确的预测并显示局限性,这可能需要额外的缓解策略。特别是,该模型可能会带有许多源自其衍生模型LLaVA的局限性。

此外,该模型的部分开发使用了PMC-15M数据集。构成该数据集的图像-标题对可能包含反映当前学术出版实践的偏见。例如,相应的论文可能富含阳性发现、包含极端案例的示例,并以其他方式反映不能代表其他生物医学数据来源的分布。

致谢

如果您发现LLaVA-Med对您的研究和应用有用,请使用以下BibTeX进行引用:

@article{li2023llavamed,
  title={Llava-med: Training a large language-and-vision assistant for biomedicine in one day},
  author={Li, Chunyuan and Wong, Cliff and Zhang, Sheng and Usuyama, Naoto and Liu, Haotian and Yang, Jianwei and Naumann, Tristan and Poon, Hoifung and Gao, Jianfeng},
  journal={arXiv preprint arXiv:2306.00890},
  year={2023}
}

相关项目

项目侧边栏1项目侧边栏2
推荐项目
Project Cover

豆包MarsCode

豆包 MarsCode 是一款革命性的编程助手,通过AI技术提供代码补全、单测生成、代码解释和智能问答等功能,支持100+编程语言,与主流编辑器无缝集成,显著提升开发效率和代码质量。

Project Cover

AI写歌

Suno AI是一个革命性的AI音乐创作平台,能在短短30秒内帮助用户创作出一首完整的歌曲。无论是寻找创作灵感还是需要快速制作音乐,Suno AI都是音乐爱好者和专业人士的理想选择。

Project Cover

有言AI

有言平台提供一站式AIGC视频创作解决方案,通过智能技术简化视频制作流程。无论是企业宣传还是个人分享,有言都能帮助用户快速、轻松地制作出专业级别的视频内容。

Project Cover

Kimi

Kimi AI助手提供多语言对话支持,能够阅读和理解用户上传的文件内容,解析网页信息,并结合搜索结果为用户提供详尽的答案。无论是日常咨询还是专业问题,Kimi都能以友好、专业的方式提供帮助。

Project Cover

阿里绘蛙

绘蛙是阿里巴巴集团推出的革命性AI电商营销平台。利用尖端人工智能技术,为商家提供一键生成商品图和营销文案的服务,显著提升内容创作效率和营销效果。适用于淘宝、天猫等电商平台,让商品第一时间被种草。

Project Cover

吐司

探索Tensor.Art平台的独特AI模型,免费访问各种图像生成与AI训练工具,从Stable Diffusion等基础模型开始,轻松实现创新图像生成。体验前沿的AI技术,推动个人和企业的创新发展。

Project Cover

SubCat字幕猫

SubCat字幕猫APP是一款创新的视频播放器,它将改变您观看视频的方式!SubCat结合了先进的人工智能技术,为您提供即时视频字幕翻译,无论是本地视频还是网络流媒体,让您轻松享受各种语言的内容。

Project Cover

美间AI

美间AI创意设计平台,利用前沿AI技术,为设计师和营销人员提供一站式设计解决方案。从智能海报到3D效果图,再到文案生成,美间让创意设计更简单、更高效。

Project Cover

AIWritePaper论文写作

AIWritePaper论文写作是一站式AI论文写作辅助工具,简化了选题、文献检索至论文撰写的整个过程。通过简单设定,平台可快速生成高质量论文大纲和全文,配合图表、参考文献等一应俱全,同时提供开题报告和答辩PPT等增值服务,保障数据安全,有效提升写作效率和论文质量。

投诉举报邮箱: service@vectorlightyear.com
@2024 懂AI·鲁ICP备2024100362号-6·鲁公网安备37021002001498号