Logo
Project Icon

LLaVA-Med

生物医学视觉语言模型助力图像分析与智能问答

LLaVA-Med多模态生物医学大语言模型视觉问答Github开源项目

LLaVA-Med是一个针对生物医学领域的大规模语言和视觉模型。该模型通过课程学习方法对LLaVA进行了生物医学领域适应，在PathVQA和VQA-RAD等开放式生物医学问答任务中表现优异。LLaVA-Med支持多模态对话和视觉问答，为生物医学视觉语言处理研究提供了有力工具。需要注意的是，此模型仅供研究使用，不适用于临床决策。

访问官网访问官网GithubGithubHuggingfaceHuggingface文档文档论文论文
介绍相关项目
llava-onevision-qwen2-72b-ov-sft - 基于Qwen2的多模态AI模型 支持图像和视频交互
GithubHuggingfaceLLaVA-OneVisionQwen2图像识别多模态模型开源项目模型视频处理
LLaVA-OneVision是基于Qwen2的多模态AI模型，支持图像、多图和视频交互。模型在专用数据集上训练，具有32K tokens上下文窗口，提供0.5B、7B和72B三种规模。支持英语和中文，可处理单图、多图和视频输入。项目开源了代码、在线演示和论文，为AI研究和开发提供了实用工具。
Huatuo-Llama-Med-Chinese - 基于中文医学知识的指令微调大语言模型
GithubHuaTuo中文医学知识大语言模型开源项目指令微调本草
本项目通过对LLaMA、Alpaca-Chinese、Bloom等大语言模型进行指令微调，提升其在医疗问答领域的效果。利用医学知识图谱和文献，结合ChatGPT API构建数据集，开源了包括活字和Bloom在内的多种微调模型。适用于智慧医疗，模型在心肌梗塞、肝胆管结石等疾病的诊断和治疗方案建议方面表现优异，支持个性化微调和应用。
Llama-3.2-11B-Vision-Instruct - Meta推出支持图文交互的语言模型
GithubHuggingfaceLlama 3.2Meta图像识别多模态大语言模型开源项目模型问答系统
Llama-3.2-11B-Vision-Instruct是一款由Meta开发的大型语言模型，集成了文本理解和图像识别能力。模型采用11B和90B两种参数规模，支持128K长度的上下文处理。基于Llama 3.1架构，通过监督学习和人类反馈优化，在视觉问答、图像描述、文档理解等任务中展现出优秀性能。该项目开放商用授权，需遵循Llama 3.2社区许可协议。
LaVIT - 大语言模型理解生成视觉内容的统一框架
GithubLaVIT多模态大语言模型开源项目视觉内容理解视觉内容生成预训练策略
LaVIT项目是一个创新的多模态预训练框架，旨在增强大语言模型处理视觉内容的能力。该项目通过动态离散视觉标记化技术，将图像和视频转换为离散标记序列，使大语言模型能够理解和生成视觉内容。LaVIT支持图像和视频的理解、生成，以及多模态提示生成，为计算机视觉和自然语言处理的融合提供了新的可能性。
BakLLaVA - 突破性多模态语言模型创新
AI训练BakLLaVAGithub多模态开源项目视觉指令微调语言模型
BakLLaVA项目通过优化基础模型、改进训练流程、使用定制数据集和重构LLaVA架构，将先进的多模态能力融入语言模型。该项目与LAION、Ontocord和Skunkworks OSS AI小组合作，致力于提升AI系统理解和生成视觉内容的能力。BakLLaVA为研究人员提供了探索视觉语言模型前沿的强大工具。
LL3DA - 3D环境下的多模态语言和视觉互动助手
3D环境3D语言模型GithubLL3DA开源项目点云视觉交互
LL3DA是一种大型语言3D助手，能够在复杂的3D环境中响应视觉和文本交互。现有的多模态模型在3D场景理解中的挑战使得LL3DA采用点云直接作为输入，从而减少计算负担并提升性能。实验结果表明，LL3DA在3D密集描述和3D问答任务上优于其他3D视觉语言模型。其开源代码和预训练模型权重允许用户训练定制模型，并进一步拓展到更大规模的3D视觉语言基准上。
llava-onevision-qwen2-7b-ov-chat - LLaVA-OneVision多模态AI模型支持图像和视频交互
GithubHuggingfaceLLaVA-OneVision图像处理多模态开源项目模型深度学习自然语言处理
LLaVA-OneVision是一款基于Qwen2架构的多模态AI模型，专门针对聊天场景进行优化。该模型通过多阶段训练，包括LCS-558K预训练、高质量合成数据训练和单图数据训练等，最终经过RLHF进一步提升性能。它能够与图像、多图和视频进行交互，同时保持良好的指令遵循能力，是一个versatile的视觉语言模型。
MedicalGPT - 优化医疗GPT模型，提升医疗对话系统的响应与精确性
GithubMedicalGPT医患对话医疗大模型开源项目强化学习微调
MedicalGPT项目采用多阶段方法如增量预训练、精细微调及奖励建模强化学习，优化医疗GPT模型，增强医疗对话与问答系统的性能。模型以人类反馈为基础，通过直接偏好优化和强化学习策略，调整生成对话的质量与人类偏好的契合度，提供科学准确的医疗咨询，项目持续接入先进的医疗语言处理技术，应对医疗领域的需求变化。
MedEmbed-small-v0.1 - 模型在医疗信息检索和分类中的应用
GithubHuggingfaceMedEmbed临床嵌入信息检索医疗嵌入句子变换器开源项目模型
项目专注于利用组合数据集进行信息检索与分类操作，如MedicalQARetrieval、NFCorpus和PublicHealthQA等。模型的评估指标包括精确率、召回率和F1-分数，在多任务如医疗问答和亚马逊评论分类中展现了良好性能。分类和检索任务测试结果显示，该模型在精度和性能上表现优异，为医疗嵌入和临床信息检索提供了有效的解决方案。
Llama-3.2-90B-Vision-Instruct - Meta开发的多模态大语言模型实现图像理解与视觉推理
GithubHuggingfaceLlama 3.2-VisionMeta图像识别多模态大语言模型开源项目模型自然语言处理
Llama-3.2-90B-Vision-Instruct是Meta开发的多模态大语言模型，用于图像理解和视觉推理。该模型基于Llama 3.1构建，集成视觉适配器，支持图像和文本输入。在视觉识别、图像推理、描述和问答方面表现优异，超越多数多模态模型。模型具有128K上下文长度，采用60亿(图像,文本)对训练，知识覆盖至2023年12月。
相关项目
项目侧边栏1项目侧边栏2
推荐项目
Project Cover

豆包MarsCode

豆包 MarsCode 是一款革命性的编程助手，通过AI技术提供代码补全、单测生成、代码解释和智能问答等功能，支持100+编程语言，与主流编辑器无缝集成，显著提升开发效率和代码质量。

Project Cover

AI写歌

Suno AI是一个革命性的AI音乐创作平台，能在短短30秒内帮助用户创作出一首完整的歌曲。无论是寻找创作灵感还是需要快速制作音乐，Suno AI都是音乐爱好者和专业人士的理想选择。

Project Cover

白日梦AI

白日梦AI提供专注于AI视频生成的多样化功能，包括文生视频、动态画面和形象生成等，帮助用户快速上手，创造专业级内容。

Project Cover

有言AI

有言平台提供一站式AIGC视频创作解决方案，通过智能技术简化视频制作流程。无论是企业宣传还是个人分享，有言都能帮助用户快速、轻松地制作出专业级别的视频内容。

Project Cover

Kimi

Kimi AI助手提供多语言对话支持，能够阅读和理解用户上传的文件内容，解析网页信息，并结合搜索结果为用户提供详尽的答案。无论是日常咨询还是专业问题，Kimi都能以友好、专业的方式提供帮助。

Project Cover

讯飞绘镜

讯飞绘镜是一个支持从创意到完整视频创作的智能平台，用户可以快速生成视频素材并创作独特的音乐视频和故事。平台提供多样化的主题和精选作品，帮助用户探索创意灵感。

Project Cover

讯飞文书

讯飞文书依托讯飞星火大模型，为文书写作者提供从素材筹备到稿件撰写及审稿的全程支持。通过录音智记和以稿写稿等功能，满足事务性工作的高频需求，帮助撰稿人节省精力，提高效率，优化工作与生活。

Project Cover

阿里绘蛙

绘蛙是阿里巴巴集团推出的革命性AI电商营销平台。利用尖端人工智能技术，为商家提供一键生成商品图和营销文案的服务，显著提升内容创作效率和营销效果。适用于淘宝、天猫等电商平台，让商品第一时间被种草。

Project Cover

AIWritePaper论文写作

AIWritePaper论文写作是一站式AI论文写作辅助工具，简化了选题、文献检索至论文撰写的整个过程。通过简单设定，平台可快速生成高质量论文大纲和全文，配合图表、参考文献等一应俱全，同时提供开题报告和答辩PPT等增值服务，保障数据安全，有效提升写作效率和论文质量。

使用协议隐私政策广告服务
投诉举报邮箱: service@vectorlightyear.com
@2024 懂AI·鲁ICP备2024100362号-6·鲁公网安备37021002001498号