Project Icon

ml-ferret

高级多模态语言模型实现精细指代和定位

Ferret是一个端到端多模态大语言模型,支持任意形式的指代并能在响应中定位内容。通过混合区域表示和空间感知视觉采样器,实现了细粒度和开放词汇的指代与定位。项目提供GRIT数据集和Ferret-Bench评估基准,为多模态模型研究提供重要资源。

RLHF-V - 通过细粒度反馈优化多模态大语言模型
GithubRLHF-V人类反馈多模态大语言模型幻觉减少开源项目行为对齐
RLHF-V框架通过细粒度的人类纠正反馈来优化多模态大语言模型的行为。该项目收集高效的纠正反馈数据,让标注者修正模型回答中的幻觉片段。实验表明,仅需1小时训练即可将基础模型的幻觉率降低34.8%。RLHF-V在Muffin模型上的验证展示了显著的性能提升,有效提高了模型的可信度。
chameleon - 多模态早期融合基础模型的开源实现
AI研究GithubMeta Chameleon可视化工具多模态模型开源项目模型推理
Chameleon是Meta AI开发的多模态早期融合基础模型。项目提供GPU推理实现、浏览器端多模态输入输出查看工具和评估提示。开源内容包括模型代码、权重和数据集,支持多模态AI技术研究与应用。Chameleon能够在文本、图像等多种模态间实现高效融合和理解。
InternVL2-1B - 多模态大语言模型实现多图像和视频智能理解
GithubHuggingfaceInternVL2人工智能多模态大语言模型开源项目模型自然语言处理计算机视觉
InternVL2-1B是一款新型多模态大语言模型,结合了InternViT-300M-448px视觉模型和Qwen2-0.5B-Instruct语言模型。该模型在文档理解、图表分析和场景文字识别等任务中表现优异,能有效处理长文本、多图像和视频输入。InternVL2-1B在开源多模态模型中表现突出,部分能力可与商业模型比肩。通过采用8k上下文窗口训练,该模型大幅提升了处理长输入序列的能力。
RLAIF-V - 多模态大模型对齐的开源AI反馈框架
GithubRLAIF-V人工智能反馈可信性多模态大语言模型开源开源项目
RLAIF-V项目提出了一种新的多模态大模型对齐框架,通过开源AI反馈实现了超越GPT-4V的可信度。该框架利用高质量反馈数据和在线反馈学习算法,有效减少模型幻觉,提高学习效率和性能。项目开源的代码、模型权重和数据集为多模态人工智能研究提供了重要资源。
FlagAI - 高效易用的大规模AI模型开发工具
FlagAIGithub中文任务多模态大规模模型并行训练开源项目
FlagAI是一款高效易用的大规模AI模型开发工具。它支持Aquila、AltCLIP、GLM等30多种主流模型的快速部署和微调,特别擅长中文自然语言处理任务。FlagAI可用于文本分类、信息抽取、问答、摘要生成等多种应用场景,并提供便捷的少样本学习工具。此外,FlagAI支持简洁的并行训练实现,有助于提高开发效率。
InternVL2-26B - 全新多模态智能体实现长文本多图像及视频的智能理解
AI识别GithubHuggingfaceInternVL2多模态大语言模型开源项目模型计算机视觉
InternVL2-26B是一个基于视觉模型InternViT-6B和语言模型internlm2-chat-20b开发的多模态模型。通过8K上下文窗口支持长文本处理,同时具备多图像和视频分析能力。在文档理解、图表分析和场景文字识别等评测中表现优异,性能达到开源模型领先水平。
Monkey - 利用高分辨率图像和优质文本标签增强多模态模型性能
GithubMonkey图像分辨率多模态模型开源项目文本标签视觉问答
Monkey是一个开源的多模态大模型项目,通过提高图像分辨率和优化文本标签来改善模型性能。该项目在MMBench、CCBench和MME等基准测试中表现优异。Monkey提供完整的模型定义、训练代码和演示系统,支持离线和在线部署。此外,项目还开源了多级描述生成数据集,并提供了针对多个视觉问答数据集的评估工具,方便研究人员进行实验和改进。
farfalle - 开源AI搜索引擎,支持本地和云端模型运行
AI搜索引擎DockerFarfalleGithubLiteLLMSearXNG开源项目
Farfalle是一个开源的AI搜索引擎,支持运行本地模型(如llama3、gemma、mistral、phi3)和通过LiteLLM使用自定义模型,还可使用云端模型(如Groq/Llama3、OpenAI/gpt4-o)。该项目集成了多个搜索提供商(如Tavily、Searxng、Serper、Bing),并具备专家搜索和聊天历史功能。用户可通过Docker进行本地部署,也可使用Vercel进行前端部署。项目详细信息和使用指南可在GitHub页面找到。
InternVL2-8B - 多模态大语言模型在图像理解、视频分析和目标定位方面的全面能力
GithubHuggingfaceInternVL2多模态大语言模型开源项目指令微调推理性能模型视觉语言模型
InternVL2-8B是一个基于InternViT-300M-448px和internlm2_5-7b-chat的多模态大语言模型。该模型在文档理解、图表分析和场景文本识别等图像任务中表现优异,同时在视频理解和目标定位方面也展现出强大能力。支持8k上下文窗口,能够处理长文本、多图像和视频输入,在开源多模态模型中具有竞争力。
Mantis - 基于LLaMA-3的先进多图像理解AI模型
GithubLLaMA-3Mantis人工智能多图像指令调优大型多模态模型开源项目
Mantis是基于LLaMA-3的大型多模态模型,专注于多图像视觉语言任务。通过在Mantis-Instruct数据集上进行36小时的指令微调,该模型在5个多图像基准测试中实现了领先性能。Mantis能处理交错的文本和图像输入,有效应对复杂多图像任务,同时保持出色的单图像处理能力。项目开源了代码、模型和演示,为AI研究和开发提供了强大的多图像处理工具。
项目侧边栏1项目侧边栏2
推荐项目
Project Cover

豆包MarsCode

豆包 MarsCode 是一款革命性的编程助手,通过AI技术提供代码补全、单测生成、代码解释和智能问答等功能,支持100+编程语言,与主流编辑器无缝集成,显著提升开发效率和代码质量。

Project Cover

AI写歌

Suno AI是一个革命性的AI音乐创作平台,能在短短30秒内帮助用户创作出一首完整的歌曲。无论是寻找创作灵感还是需要快速制作音乐,Suno AI都是音乐爱好者和专业人士的理想选择。

Project Cover

有言AI

有言平台提供一站式AIGC视频创作解决方案,通过智能技术简化视频制作流程。无论是企业宣传还是个人分享,有言都能帮助用户快速、轻松地制作出专业级别的视频内容。

Project Cover

Kimi

Kimi AI助手提供多语言对话支持,能够阅读和理解用户上传的文件内容,解析网页信息,并结合搜索结果为用户提供详尽的答案。无论是日常咨询还是专业问题,Kimi都能以友好、专业的方式提供帮助。

Project Cover

阿里绘蛙

绘蛙是阿里巴巴集团推出的革命性AI电商营销平台。利用尖端人工智能技术,为商家提供一键生成商品图和营销文案的服务,显著提升内容创作效率和营销效果。适用于淘宝、天猫等电商平台,让商品第一时间被种草。

Project Cover

吐司

探索Tensor.Art平台的独特AI模型,免费访问各种图像生成与AI训练工具,从Stable Diffusion等基础模型开始,轻松实现创新图像生成。体验前沿的AI技术,推动个人和企业的创新发展。

Project Cover

SubCat字幕猫

SubCat字幕猫APP是一款创新的视频播放器,它将改变您观看视频的方式!SubCat结合了先进的人工智能技术,为您提供即时视频字幕翻译,无论是本地视频还是网络流媒体,让您轻松享受各种语言的内容。

Project Cover

美间AI

美间AI创意设计平台,利用前沿AI技术,为设计师和营销人员提供一站式设计解决方案。从智能海报到3D效果图,再到文案生成,美间让创意设计更简单、更高效。

Project Cover

AIWritePaper论文写作

AIWritePaper论文写作是一站式AI论文写作辅助工具,简化了选题、文献检索至论文撰写的整个过程。通过简单设定,平台可快速生成高质量论文大纲和全文,配合图表、参考文献等一应俱全,同时提供开题报告和答辩PPT等增值服务,保障数据安全,有效提升写作效率和论文质量。

投诉举报邮箱: service@vectorlightyear.com
@2024 懂AI·鲁ICP备2024100362号-6·鲁公网安备37021002001498号