visual-med-alpaca

生物医学多模态AI模型实现图像理解和复杂问答

Visual Med-Alpaca LLM 生物医学多模态 AI Github 开源项目

Visual Med-Alpaca是一个参数高效的开源生物医学基础模型，集成了多模态能力。基于LLaMa-7B架构，该模型通过指令微调和视觉模块扩展，可执行放射影像解读和复杂临床问答等任务。仅需一张消费级GPU即可运行，为生物医学领域提供了灵活高效的AI研究工具。该项目仅供学术研究使用。

awesome-transformers-in-medical-imaging - Transformer在医学影像分析中的最新应用进展

GithubTransformer分割医学图像分析开源项目深度学习计算机视觉

本项目汇总了Transformer在医学影像分析领域的最新研究成果,包括图像分割、分类、重建等多个任务。资源库按时间顺序整理相关论文和开源实现,为研究人员提供全面参考。内容定期更新,旨在促进Transformer在医学影像分析中的应用与发展。

cogvlm2-llama3-chinese-chat-19B - 双语视觉语言模型，支持大规模文本和图像解析

CogVLM2GithubHuggingface中文支持开源模型开源项目文本生成模型视觉理解

CogVLM2-LLaMA3-Chinese 是一个开源模型，支持中文和英文，表现出显著性能提升，比如在 TextVQA 和 DocVQA 基准测试中。这一模型支持最大8K的文本长度和1344*1344的图像分辨率，特别适合文本和图像的理解与对话任务。构建于Meta-Llama-3-8B-Instruct基础之上，用户可在ZhipuAI开放平台进行实际体验，适用于需要强大图像解析和多语言支持的场景。

Awesome-Transformer-in-Medical-Imaging - Transformer在医学图像分析中的应用进展综述

GithubVision Transformer医学图像分析图像分割图像分类开源项目深度学习

本项目整理了Transformer模型在医学图像分析中的最新研究进展。内容涵盖图像分类、分割、重建、合成等多个领域,系统地归纳和分类了相关论文。项目提供了医学图像分析中Transformer应用的分类体系,详细的参考文献,以及开源代码库链接,为研究人员提供了全面的学习和实践资源。

MoE-LLaVA - 高效视觉语言模型的新方向

GithubMoE-LLaVA多模态学习大视觉语言模型开源项目性能表现稀疏激活

MoE-LLaVA项目采用混合专家技术,实现了高效的大规模视觉语言模型。该模型仅使用3B稀疏激活参数就达到了与7B参数模型相当的性能,在多项视觉理解任务中表现优异。项目提供简单的基线方法,通过稀疏路径学习多模态交互,可在8张A100 GPU上1天内完成训练。MoE-LLaVA为构建高性能、低参数量的视觉语言模型探索了新的方向。

Video-LLaVA-7B-hf - 基于LLM的统一视觉模型实现图像和视频的智能处理

GithubHuggingfaceVideo-LLaVA多模态模型开源项目模型视觉识别视频分析语言模型

Video-LLaVA是一个基于Vicuna-13b的开源多模态模型，通过统一的视觉表示编码器实现图像和视频内容的并行处理。该模型采用语言对齐投影方式，无需图像-视频配对数据即可完成训练。模型支持图像和视频的混合输入，可应用于内容理解、问答和描述等视觉分析任务。

GaNDLF - 通用深度学习框架支持多种医学影像分析任务

GaNDLFGithubMLCommons医学影像分析开源项目深度学习框架

GaNDLF是一个通用深度学习框架，支持多种模型架构、数据维度和医学影像分析任务。框架内置嵌套交叉验证、数据增强和混合精度训练功能，适用于放射学和组织病理学图像处理。GaNDLF简化了深度学习开发流程，提高了模型可重现性和可解释性，使非专业人士也能轻松使用。

SAM4MIS - 医学图像分割技术的前沿进展

GithubSAM人工智能医学图像分割开源项目深度学习计算机视觉

SAM4MIS项目综述了Segment Anything Model (SAM)和SAM2在医学图像分割领域的应用进展。该项目涵盖了从经验评估到方法改进的全面研究成果,为医学图像分割提供了最新见解。通过持续跟踪和汇总SAM相关研究,SAM4MIS为医学图像分析研究提供了重要参考,促进了该领域技术的创新。

CogVLM - 开源视觉语言模型，提升图像理解与跨模态对话功能

CogAgentCogVLMGithub图像理解多回合对话开源项目跨模态基准测试

CogVLM和CogAgent是领先的开源视觉语言模型，专注于图像理解和跨模态任务。CogVLM-17B拥有100亿视觉参数和70亿语言参数，并在NoCaps、Flicker30k等十个经典跨模态基准测试上表现出色。CogAgent在CogVLM的基础上改进，增添了GUI图像代理能力，支持1120*1120分辨率的图像理解，并在VQAv2、TextVQA等九个基准测试中表现优秀。该项目提供详细的技术文档、示例代码和Web演示，用户可以方便地进行模型推理和微调。了解更多信息，请访问项目主页。

XrayGPT - 胸部X光智能分析与报告生成系统

AI医疗GithubXrayGPT医疗视觉语言模型开源项目放射学报告胸部X光

XrayGPT是一个结合医学视觉语言模型技术的人工智能项目，专注于胸部X光片分析和报告生成。该系统整合了经过微调的Vicuna语言模型和MedClip医学视觉编码器，通过线性变换实现对齐。XrayGPT经过大量医患对话和放射学对话训练，可生成准确、清晰的X光分析摘要，为放射科医生提供辅助支持。

LLaVA-NeXT-Video-7B-hf - 先进多模态AI模型实现视频和图像理解

GithubHuggingfaceLLaVA-NeXT-Video人工智能多模态大语言模型开源项目模型视频理解

LLaVA-NeXT-Video-7B-hf是一个开源多模态AI模型，通过视频和图像数据的混合微调，实现了出色的视频理解能力。该模型支持多视觉输入和多提示生成，在VideoMME基准测试中表现优异。基于Vicuna-7B语言模型，可处理视频问答和图像描述等视觉任务。模型支持4位量化和Flash Attention 2优化，提供灵活高效的使用方式。

相关项目

推荐项目

豆包MarsCode

豆包 MarsCode 是一款革命性的编程助手，通过AI技术提供代码补全、单测生成、代码解释和智能问答等功能，支持100+编程语言，与主流编辑器无缝集成，显著提升开发效率和代码质量。

AI写歌

Suno AI是一个革命性的AI音乐创作平台，能在短短30秒内帮助用户创作出一首完整的歌曲。无论是寻找创作灵感还是需要快速制作音乐，Suno AI都是音乐爱好者和专业人士的理想选择。

有言AI

有言平台提供一站式AIGC视频创作解决方案，通过智能技术简化视频制作流程。无论是企业宣传还是个人分享，有言都能帮助用户快速、轻松地制作出专业级别的视频内容。

Kimi

Kimi AI助手提供多语言对话支持，能够阅读和理解用户上传的文件内容，解析网页信息，并结合搜索结果为用户提供详尽的答案。无论是日常咨询还是专业问题，Kimi都能以友好、专业的方式提供帮助。

阿里绘蛙

绘蛙是阿里巴巴集团推出的革命性AI电商营销平台。利用尖端人工智能技术，为商家提供一键生成商品图和营销文案的服务，显著提升内容创作效率和营销效果。适用于淘宝、天猫等电商平台，让商品第一时间被种草。

SubCat字幕猫

SubCat字幕猫APP是一款创新的视频播放器，它将改变您观看视频的方式！SubCat结合了先进的人工智能技术，为您提供即时视频字幕翻译，无论是本地视频还是网络流媒体，让您轻松享受各种语言的内容。

美间AI

美间AI创意设计平台，利用前沿AI技术，为设计师和营销人员提供一站式设计解决方案。从智能海报到3D效果图，再到文案生成，美间让创意设计更简单、更高效。

AIWritePaper论文写作

AIWritePaper论文写作是一站式AI论文写作辅助工具，简化了选题、文献检索至论文撰写的整个过程。通过简单设定，平台可快速生成高质量论文大纲和全文，配合图表、参考文献等一应俱全，同时提供开题报告和答辩PPT等增值服务，保障数据安全，有效提升写作效率和论文质量。

稿定AI

稿定设计是一个多功能的在线设计和创意平台，提供广泛的设计工具和资源，以满足不同用户的需求。从专业的图形设计师到普通用户，无论是进行图片处理、智能抠图、H5页面制作还是视频剪辑，稿定设计都能提供简单、高效的解决方案。该平台以其用户友好的界面和强大的功能集合，帮助用户轻松实现创意设计。

使用协议隐私政策广告服务

投诉举报邮箱: service@vectorlightyear.com