scaling_on_scales

为视觉模型实现多尺度特征提取的机制

S2-Wrapper 多尺度特征提取计算机视觉深度学习模型扩展 Github 开源项目

S²-Wrapper是一种为视觉模型实现多尺度特征提取的机制。项目提供PyTorch实现,探讨图像尺度缩放与模型规模缩放的效果对比。S²-Wrapper已集成到LLaVA和NVIDIA VILA等多模态模型中,提升了多项视觉任务性能。项目包含使用指南和示例,便于研究人员和开发者应用。

nanoLLaVA - 轻量级视觉语言模型实现边缘设备高效部署

GithubHuggingfacenanoLLaVA人工智能多模态开源项目机器学习模型视觉语言模型

nanoLLaVA是一款1B级视觉语言模型，结合Quyen-SE和SigLIP视觉编码器技术。该模型在VQA v2和TextVQA等视觉问答测试中表现优异，同时优化了在边缘设备上的运行效率。nanoLLaVA采用ChatML标准，支持图像描述和视觉问答功能，并提供简洁的API接口，方便开发者集成到不同应用场景。

s4 - 多种序列建模模型的官方实现和实验

GithubHiPPOHydraPyTorchPytorch-LightningS4开源项目

该页面提供多种序列建模模型的官方实现和实验，包括HiPPO、LSSL、SaShiMi、DSS、HTTYH、S4D、S4ND等。内容涵盖相关模型的源代码概述和具体实验复现，并详细说明如何设置环境、训练模型及生成序列。页面还介绍了优化器超参数、数据集管理和实验配置的详细信息，特别适合使用PyTorch和PyTorch-Lightning进行数据和模型训练的用户。

VisionLLM - 面向视觉任务的开放式多模态大语言模型

GithubVisionLLM人工智能多模态大语言模型开源项目视觉语言任务计算机视觉

VisionLLM 系列是一种多模态大语言模型，专注于视觉相关任务。该模型利用大语言模型作为开放式解码器，支持数百种视觉语言任务，包括视觉理解、感知和生成。VisionLLM v2 进一步提升了模型的通用性，扩展了其在多模态应用场景中的能力，推动了计算机视觉与自然语言处理的融合。

VideoLLaMA2 - 增强视频理解的多模态语言模型

AIGithubVideoLLaMA2多模态大语言模型开源项目视频理解

VideoLLaMA2是一款先进的视频语言模型,通过增强空间-时间建模和音频理解能力,提高了视频问答和描述任务的性能。该模型在零样本视频问答等多项基准测试中表现出色。VideoLLaMA2能处理长视频序列并理解复杂视听内容,为视频理解技术带来新进展。

smol-vision - 前沿视觉模型优化与定制的实用技巧集锦

GithubONNX量化Smol Vision开源项目模型微调知识蒸馏视觉模型优化

smol-vision项目汇集了多种视觉模型优化技术，包括量化、ONNX转换、模型微调和知识蒸馏。项目提供了实用示例，展示如何使用Optimum优化目标检测模型、微调PaliGemma和Florence-2视觉语言模型，以及通过torch.compile加速基础模型。这些方法旨在帮助开发者提高模型性能、缩小规模和加快推理速度，使模型更好地适应各种硬件环境。

llava-interleave-qwen-7b-hf - 领先的多模态AI模型支持多图像视频和3D输入处理

AI对话GithubHuggingfaceLLaVA Interleave图像识别多模态模型开源项目模型自然语言处理

LLaVA Interleave是基于Qwen1.5-7B-Chat开发的多模态AI模型，支持多图像、视频和3D输入处理。模型采用transformer架构，具备4-bit量化和Flash Attention 2优化功能。目前主要面向计算机视觉、自然语言处理和人工智能领域的研究人员，仅供学术研究使用。

llava-v1.5-7b-llamafile - LLaVA模型实现图像理解与自然语言交互的多模态AI

GithubHuggingfaceLLaVA人工智能多模态模型开源项目机器学习模型自然语言处理

LLaVA-v1.5-7b-llamafile作为一个开源多模态AI模型，通过微调LLaMA/Vicuna而成。它整合了图像理解和自然语言处理功能，能够执行图像相关指令和进行对话。该模型于2023年9月推出，主要用于研究大型多模态模型和聊天机器人。LLaVA的训练数据包括558K图像-文本对和多种指令数据，在12个基准测试中表现优异。这个模型为计算机视觉和自然语言处理领域的研究人员提供了探索AI前沿应用的有力工具。

vision - TorchVision 计算机视觉库提供数据集模型和图像处理功能

GithubPyTorchtorchvision图像处理开源项目深度学习计算机视觉

TorchVision是PyTorch生态系统的计算机视觉库，提供常用数据集、模型架构和图像变换功能。它支持torch张量和PIL图像后端，具备视频处理能力。该库同时提供Python和C++ API，适用于各种计算机视觉任务。TorchVision版本与PyTorch和Python版本兼容，持续更新以支持最新技术。

LLaVA-HR - 混合分辨率适应技术助力多模态大模型

GithubLLaVA-HR多模态大语言模型开源项目视觉语言任务高分辨率

LLaVA-HR是一个采用混合分辨率适应技术的多模态大语言模型。它支持1536x1536的高分辨率图像输入,提高了细粒度视觉语言任务的性能。该模型在保持与LLaVA-1.5相近训练成本的同时,在多个基准测试中表现出色。LLaVA-HR为研究社区提供了一个新的基线,展示了混合分辨率适应方法在提升多模态模型性能方面的潜力。

swinv2-tiny-patch4-window8-256 - 基于分层特征图的轻量级视觉Transformer模型

GithubHuggingfaceImageNetSwin Transformer v2图像分类开源项目模型深度学习计算机视觉

Swin Transformer V2是一个在ImageNet-1k数据集上预训练的视觉模型，采用分层特征图结构和局部窗口注意力机制，实现线性计算复杂度。模型整合了残差后归一化和余弦注意力等技术，在保持256x256分辨率输入的同时，提供了稳定的图像分类和特征提取能力。

相关项目

推荐项目

豆包MarsCode

豆包 MarsCode 是一款革命性的编程助手，通过AI技术提供代码补全、单测生成、代码解释和智能问答等功能，支持100+编程语言，与主流编辑器无缝集成，显著提升开发效率和代码质量。

AI写歌

Suno AI是一个革命性的AI音乐创作平台，能在短短30秒内帮助用户创作出一首完整的歌曲。无论是寻找创作灵感还是需要快速制作音乐，Suno AI都是音乐爱好者和专业人士的理想选择。

白日梦AI

白日梦AI提供专注于AI视频生成的多样化功能，包括文生视频、动态画面和形象生成等，帮助用户快速上手，创造专业级内容。

有言AI

有言平台提供一站式AIGC视频创作解决方案，通过智能技术简化视频制作流程。无论是企业宣传还是个人分享，有言都能帮助用户快速、轻松地制作出专业级别的视频内容。

Kimi

Kimi AI助手提供多语言对话支持，能够阅读和理解用户上传的文件内容，解析网页信息，并结合搜索结果为用户提供详尽的答案。无论是日常咨询还是专业问题，Kimi都能以友好、专业的方式提供帮助。

讯飞绘镜

讯飞绘镜是一个支持从创意到完整视频创作的智能平台，用户可以快速生成视频素材并创作独特的音乐视频和故事。平台提供多样化的主题和精选作品，帮助用户探索创意灵感。

讯飞文书

讯飞文书依托讯飞星火大模型，为文书写作者提供从素材筹备到稿件撰写及审稿的全程支持。通过录音智记和以稿写稿等功能，满足事务性工作的高频需求，帮助撰稿人节省精力，提高效率，优化工作与生活。

阿里绘蛙

绘蛙是阿里巴巴集团推出的革命性AI电商营销平台。利用尖端人工智能技术，为商家提供一键生成商品图和营销文案的服务，显著提升内容创作效率和营销效果。适用于淘宝、天猫等电商平台，让商品第一时间被种草。

AIWritePaper论文写作

AIWritePaper论文写作是一站式AI论文写作辅助工具，简化了选题、文献检索至论文撰写的整个过程。通过简单设定，平台可快速生成高质量论文大纲和全文，配合图表、参考文献等一应俱全，同时提供开题报告和答辩PPT等增值服务，保障数据安全，有效提升写作效率和论文质量。

使用协议隐私政策广告服务

投诉举报邮箱: service@vectorlightyear.com