MultiModal_BigModels_Survey

大规模多模态预训练模型综合调研

多模态预训练模型大规模模型综述深度学习人工智能 Github 开源项目

这个项目提供了大规模多模态预训练模型的全面调研。内容包括发展历程、关键技术、代表性模型和应用场景。调研分析了模型架构、预训练策略和下游任务等研究热点,并探讨了未来方向。这份资料可为多模态人工智能研究和开发提供参考。

Awesome-Scientific-Language-Models - 科学领域预训练语言模型资源汇总

Github大型语言模型开源项目模态知识表示科学领域预训练模型

Awesome-Scientific-Language-Models是一个涵盖多个科学领域预训练语言模型的资源列表。该项目收录了数学、物理、化学等领域的模型，包括不同参数规模和多种模态。资源列表持续更新，为科研人员提供丰富的语言模型参考和应用案例。

llava-onevision-qwen2-7b-ov-hf - 支持单图多图和视频理解的多模态语言模型

GithubHuggingfaceLLaVA-Onevision人工智能图像理解多模态开源项目模型视频理解

LLaVA-Onevision-qwen2-7b-ov-hf是一个基于Qwen2微调的开源多模态大语言模型。作为首个能在单图、多图和视频场景中同时提升性能的模型，它展现了卓越的跨模态和跨场景迁移学习能力。该模型特别擅长视频理解和跨场景任务，支持多图像和多提示生成，适用于广泛的视觉理解应用。

LanguageBind_Image - 基于语言实现多模态预训练绑定

GithubHuggingfaceICLRLanguageBind多模态开源项目数据集模型视频语言预训练

LanguageBind是一种创新的多模态预训练方法,通过语言将视频、音频、深度图像等不同模态绑定。该项目提出了包含1000万条多模态数据的VIDAL-10M数据集,并在多个模态任务上实现了领先性能。LanguageBind无需中间模态即可扩展到检测等任务,开源了全部模态预处理代码和API接口,为多模态AI研究提供了有力工具。

multi_verse_model - 运用创新方法展示人工智能学习与发展的可能性

GithubHuggingface人工智能创新概念学习机器人开源项目持续学习模型知识吸收

基于先进训练技术的人工智能项目，展示了持续学习和发展的未来潜力，体现技术研发中的突破性实验成果。

MMStar - 大型视觉语言模型评估的新标准

GithubMMStar人工智能基准测试多模态评估开源项目视觉语言模型

MMStar是一个创新的多模态评估基准，包含1500个精选的视觉关键样本。它解决了现有评估中的视觉冗余和数据泄露问题，提高了多模态性能评估的准确性。MMStar涵盖6大核心能力和18个细分维度，每个核心能力均衡分配250个样本。项目提供评估工具、数据集和在线排行榜，为视觉语言模型研究指明新方向。

LLMBook-zh.github.io - 大语言模型技术的发展与前景

ChatGPTGithubOpenAI人工智能大语言模型开源项目预训练语言模型

本书全面介绍了大语言模型技术，包括基础原理、关键技术和应用前景。通过深入研究，大模型的发展历程得到探索，其中包含OpenAI的GPT系列模型和训练细节。本书适合具有深度学习基础的高年级本科生和低年级研究生，为科研人员提供指导，推动人工智能技术的进步。

InternVL2-8B - 多模态大语言模型在图像理解、视频分析和目标定位方面的全面能力

GithubHuggingfaceInternVL2多模态大语言模型开源项目指令微调推理性能模型视觉语言模型

InternVL2-8B是一个基于InternViT-300M-448px和internlm2_5-7b-chat的多模态大语言模型。该模型在文档理解、图表分析和场景文本识别等图像任务中表现优异，同时在视频理解和目标定位方面也展现出强大能力。支持8k上下文窗口，能够处理长文本、多图像和视频输入，在开源多模态模型中具有竞争力。

Multi-Modality-Arena - 完善的多模态模型评估工具，让视觉问答更精准

GithubLVLM LeaderboardLVLM-eHubMulti-Modality ArenaOmniMedVQATiny LVLM-eHub开源项目

Multi-Modality Arena 是一个专注于评估多模态模型的开放平台，支持视觉问答任务的对比测试。平台发布了OmniMedVQA和Tiny LVLM-eHub等评估基准，涵盖广泛的视觉和语言领域。用户可以访问在线演示，参与评估项目，并利用丰富的模型和数据集资源进行性能优化。

cogvlm2-llama3-chat-19B - 支持8K内容长度和高分辨率图像的开源多模态AI模型

CogVLM2GithubHuggingface人工智能图像理解对话模型开源项目模型视觉语言模型

CogVLM2是基于Meta-Llama-3-8B-Instruct的开源多模态AI模型，支持8K内容长度和1344*1344图像分辨率。该模型在TextVQA、DocVQA等多项基准测试中表现优异，具备图像理解和对话能力。CogVLM2提供英文和中英双语版本，在开源模型中表现突出，部分任务性能可与非开源模型媲美。

LLaMA-Cult-and-More - 最新大模型参数、微调数据和硬件需求解析

AnthropicEfficient训练GithubMetaOpenAI多模态LLM开源项目

LLaMA-Cult-and-More项目详细介绍了最新大模型的参数数量、微调数据集与技术，并提供LLM对齐后训练的实用指南，包括数据集、基准数据集和高效训练库。从预训练模型到后训练模型，项目涵盖了许多有趣的内容，帮助您了解关键功能和最新进展。

相关项目

推荐项目

豆包MarsCode

豆包 MarsCode 是一款革命性的编程助手，通过AI技术提供代码补全、单测生成、代码解释和智能问答等功能，支持100+编程语言，与主流编辑器无缝集成，显著提升开发效率和代码质量。

AI写歌

Suno AI是一个革命性的AI音乐创作平台，能在短短30秒内帮助用户创作出一首完整的歌曲。无论是寻找创作灵感还是需要快速制作音乐，Suno AI都是音乐爱好者和专业人士的理想选择。

有言AI

有言平台提供一站式AIGC视频创作解决方案，通过智能技术简化视频制作流程。无论是企业宣传还是个人分享，有言都能帮助用户快速、轻松地制作出专业级别的视频内容。

Kimi

Kimi AI助手提供多语言对话支持，能够阅读和理解用户上传的文件内容，解析网页信息，并结合搜索结果为用户提供详尽的答案。无论是日常咨询还是专业问题，Kimi都能以友好、专业的方式提供帮助。

阿里绘蛙

绘蛙是阿里巴巴集团推出的革命性AI电商营销平台。利用尖端人工智能技术，为商家提供一键生成商品图和营销文案的服务，显著提升内容创作效率和营销效果。适用于淘宝、天猫等电商平台，让商品第一时间被种草。

吐司

探索Tensor.Art平台的独特AI模型，免费访问各种图像生成与AI训练工具，从Stable Diffusion等基础模型开始，轻松实现创新图像生成。体验前沿的AI技术，推动个人和企业的创新发展。

SubCat字幕猫

SubCat字幕猫APP是一款创新的视频播放器，它将改变您观看视频的方式！SubCat结合了先进的人工智能技术，为您提供即时视频字幕翻译，无论是本地视频还是网络流媒体，让您轻松享受各种语言的内容。

美间AI

美间AI创意设计平台，利用前沿AI技术，为设计师和营销人员提供一站式设计解决方案。从智能海报到3D效果图，再到文案生成，美间让创意设计更简单、更高效。

AIWritePaper论文写作

AIWritePaper论文写作是一站式AI论文写作辅助工具，简化了选题、文献检索至论文撰写的整个过程。通过简单设定，平台可快速生成高质量论文大纲和全文，配合图表、参考文献等一应俱全，同时提供开题报告和答辩PPT等增值服务，保障数据安全，有效提升写作效率和论文质量。

使用协议隐私政策广告服务

投诉举报邮箱: service@vectorlightyear.com