Project Icon

visual-med-alpaca

生物医学多模态AI模型实现图像理解和复杂问答

Visual Med-Alpaca是一个参数高效的开源生物医学基础模型,集成了多模态能力。基于LLaMa-7B架构,该模型通过指令微调和视觉模块扩展,可执行放射影像解读和复杂临床问答等任务。仅需一张消费级GPU即可运行,为生物医学领域提供了灵活高效的AI研究工具。该项目仅供学术研究使用。

Medical-SAM2 - 基于SAM2框架的2D和3D医学图像精准分割模型
GithubMedical SAM 2医学影像图像分割开源项目深度学习计算机视觉
Medical-SAM2是一个开源的医学图像分割模型,基于SAM2框架开发。该模型支持2D和3D医学图像分割,适用于REFUGE眼底图像和BTCV腹部多器官等数据集。项目提供环境配置、数据准备和训练步骤指南,以及预训练权重。Medical-SAM2为医学图像分析研究提供了实用的工具和资源。
MedQA-ChatGLM - 医疗问答模型的微调与应用
ChatGLMGithubLLaMA医疗大语言模型医疗对话开源项目微调
MedQA-ChatGLM是基于ChatGLM-6B的医疗问答模型,采用LoRA、P-Tuning V2和Freeze等方法进行微调。项目支持单卡和多卡分布式训练,并提供多种推理方式。模型使用cMedQA2等医疗数据集训练,旨在提升医疗领域问答能力。项目还整理了多个医疗大语言模型资源,为相关研究提供参考。
SAMed - 基于SAM的高效医学图像分割模型
GithubLoRASAMedSegment Anything Model医学图像分割多器官分割开源项目
SAMed是一种基于Segment Anything Model的医学图像分割方法,通过低秩适应微调策略优化SAM模型。在Synapse多器官分割数据集上,SAMed达到81.88 DSC和20.64 HD的性能。由于仅更新部分参数,SAMed具有低部署和存储成本的优势。研究团队还推出了性能更高的SAMed_h版本,为医学影像分析提供了新的解决方案。
VideoLLaMA2 - 增强视频理解的多模态语言模型
AIGithubVideoLLaMA2多模态大语言模型开源项目视频理解
VideoLLaMA2是一款先进的视频语言模型,通过增强空间-时间建模和音频理解能力,提高了视频问答和描述任务的性能。该模型在零样本视频问答等多项基准测试中表现出色。VideoLLaMA2能处理长视频序列并理解复杂视听内容,为视频理解技术带来新进展。
SAM-Med2D - 医学图像分割新突破 SAM-Med2D模型
GithubSAM-Med2D医学图像分割开源项目数据集模型训练模型评估
SAM-Med2D是基于Segment Anything Model的医学图像分割模型,在包含4.6M图像和19.7M掩码的大规模数据集上进行微调。该项目涵盖10种医学数据模态、4种解剖结构和病变,以及31个主要人体器官。SAM-Med2D在多个测试集上表现优秀,尤其在点提示和边界框提示方面效果显著,为医学图像分割领域提供了新的解决方案。
Llama-3.2-11B-Vision-Instruct - Meta推出支持图文交互的语言模型
GithubHuggingfaceLlama 3.2Meta图像识别多模态大语言模型开源项目模型问答系统
Llama-3.2-11B-Vision-Instruct是一款由Meta开发的大型语言模型,集成了文本理解和图像识别能力。模型采用11B和90B两种参数规模,支持128K长度的上下文处理。基于Llama 3.1架构,通过监督学习和人类反馈优化,在视觉问答、图像描述、文档理解等任务中展现出优秀性能。该项目开放商用授权,需遵循Llama 3.2社区许可协议。
Llama-3.2-11B-Vision-Instruct-FP8-dynamic - Meta-Llama视觉语言模型FP8量化版支持多语言部署
GithubHuggingfaceLlama-3.2vLLM人工智能开源项目模型视觉识别量化压缩
基于Meta-Llama-3.2架构的视觉语言模型,通过FP8动态量化技术实现模型压缩,在保持原有性能的同时将显存需求降低50%。模型支持图文输入和多语言输出,可通过vLLM实现快速部署,提供OpenAI兼容接口,适合商业场景应用。
llama3-llava-next-8b - 基于Llama 3的开源多模态视觉语言AI模型
GithubHuggingfaceLLaVA人工智能多模态模型开源项目机器学习模型深度学习
LLaVA-NeXT-8b是基于Meta-Llama-3-8B-Instruct的开源多模态模型,通过558K图文对和超过700K多模态指令数据训练而成。该模型集成视觉理解与文本生成能力,支持图像描述、视觉问答等任务。模型采用高效的分布式训练方法,训练时间约15-20小时。目前仅供学术研究使用,商业应用受限。
LLaVAR - 优化视觉指令微调的文本丰富图像理解模型
GithubLLaVAROCR能力多模态大语言模型开源项目文本丰富图像理解视觉指令微调
LLaVAR项目致力于增强大型语言模型对文本丰富图像的理解能力。通过改进视觉指令微调方法,该项目显著提升了模型在OCR相关任务上的表现。LLaVAR开源了模型权重、训练数据,并提供了环境配置、训练脚本和评估方法,为相关研究和开发提供了全面支持。
Multi-Modality-Arena - 完善的多模态模型评估工具,让视觉问答更精准
GithubLVLM LeaderboardLVLM-eHubMulti-Modality ArenaOmniMedVQATiny LVLM-eHub开源项目
Multi-Modality Arena 是一个专注于评估多模态模型的开放平台,支持视觉问答任务的对比测试。平台发布了OmniMedVQA和Tiny LVLM-eHub等评估基准,涵盖广泛的视觉和语言领域。用户可以访问在线演示,参与评估项目,并利用丰富的模型和数据集资源进行性能优化。
项目侧边栏1项目侧边栏2
推荐项目
Project Cover

豆包MarsCode

豆包 MarsCode 是一款革命性的编程助手,通过AI技术提供代码补全、单测生成、代码解释和智能问答等功能,支持100+编程语言,与主流编辑器无缝集成,显著提升开发效率和代码质量。

Project Cover

AI写歌

Suno AI是一个革命性的AI音乐创作平台,能在短短30秒内帮助用户创作出一首完整的歌曲。无论是寻找创作灵感还是需要快速制作音乐,Suno AI都是音乐爱好者和专业人士的理想选择。

Project Cover

有言AI

有言平台提供一站式AIGC视频创作解决方案,通过智能技术简化视频制作流程。无论是企业宣传还是个人分享,有言都能帮助用户快速、轻松地制作出专业级别的视频内容。

Project Cover

Kimi

Kimi AI助手提供多语言对话支持,能够阅读和理解用户上传的文件内容,解析网页信息,并结合搜索结果为用户提供详尽的答案。无论是日常咨询还是专业问题,Kimi都能以友好、专业的方式提供帮助。

Project Cover

阿里绘蛙

绘蛙是阿里巴巴集团推出的革命性AI电商营销平台。利用尖端人工智能技术,为商家提供一键生成商品图和营销文案的服务,显著提升内容创作效率和营销效果。适用于淘宝、天猫等电商平台,让商品第一时间被种草。

Project Cover

SubCat字幕猫

SubCat字幕猫APP是一款创新的视频播放器,它将改变您观看视频的方式!SubCat结合了先进的人工智能技术,为您提供即时视频字幕翻译,无论是本地视频还是网络流媒体,让您轻松享受各种语言的内容。

Project Cover

美间AI

美间AI创意设计平台,利用前沿AI技术,为设计师和营销人员提供一站式设计解决方案。从智能海报到3D效果图,再到文案生成,美间让创意设计更简单、更高效。

Project Cover

AIWritePaper论文写作

AIWritePaper论文写作是一站式AI论文写作辅助工具,简化了选题、文献检索至论文撰写的整个过程。通过简单设定,平台可快速生成高质量论文大纲和全文,配合图表、参考文献等一应俱全,同时提供开题报告和答辩PPT等增值服务,保障数据安全,有效提升写作效率和论文质量。

Project Cover

天工AI音乐

天工AI音乐平台支持音乐创作,特别是在国风音乐领域。该平台适合新手DJ和音乐爱好者使用,帮助他们启动音乐创作,增添生活乐趣,同时发现和分享新音乐。

投诉举报邮箱: service@vectorlightyear.com
@2024 懂AI·鲁ICP备2024100362号-6·鲁公网安备37021002001498号