#计算机视觉

Gaussian-Head-Avatar项目采用动态高斯模型，生成超高保真虚拟头像。该技术通过两阶段训练，包括几何引导模型和高斯头像模型，能够基于表情系数实现逼真的头像重演。这一创新为计算机视觉和图形学领域带来新的解决方案，可应用于虚拟现实和数字人等多个领域。

MVSplat是一种基于3D高斯分布渲染的多视角图像重建技术。该项目利用深度学习和计算机视觉方法，从稀疏的多视角图像高效重建3D场景并实现新视角渲染。MVSplat在RealEstate10K和ACID数据集上表现优异，并具有良好的跨数据集泛化能力。项目提供了安装指南、预训练模型和评估代码，便于研究人员进行复现和改进。

LaRa项目开发了创新的大基线辐射场技术，提高了3D重建效率和质量。通过支持半精度训练，该技术实现了收敛速度提升100%以上，性能增益约1.5dB。LaRa能从多视图、文本和单视图输入重建辐射场，在计算效率和重建质量方面取得了显著进展，为3D重建和渲染领域开辟了新途径。

Awesome-Mamba-Collection项目汇集了Mamba相关的论文、教程和视频资源。涵盖Mamba在视觉、语言、多模态等领域的应用，以及理论分析和架构改进。为研究者和开发者提供全面的Mamba参考资料，促进知识共享和社区协作。适合各级别人士学习Mamba技术。

MuRF是一种新型多基线辐射场技术，支持多种基线设置，在各类评估条件下表现卓越。该项目在三维场景重建领域取得突破，推动了计算机视觉和图形学的发展。MuRF在DTU、RealEstate10K和LLFF等数据集上展现出优异性能，为相关研究和应用提供了新思路。

OCR_DataSet项目整合了13个知名的多语言OCR数据集，涵盖ICDAR2015、MLT2019和COCO-Text_v2等。项目特色包括数据格式统一化、便捷的百度网盘下载、详尽的数据集信息表和简化的读取脚本。此外，项目还提供了数据生成工具链接，为OCR领域的研究和开发工作提供了全面的资源支持。

GroundingDINO是一个基于语言的开放集目标检测模型,能够检测图像中的任意物体。该模型在COCO数据集上实现了零样本52.5 AP和微调后63.0 AP的性能。GroundingDINO支持CPU模式,可与Stable Diffusion等模型集成用于图像编辑,还能与SAM结合实现分割功能。此外,项目提供了丰富的演示和教程资源,为开放世界目标检测领域带来了新的解决方案。

Mip-Splatting是一个创新的3D高斯渲染项目，通过3D平滑滤波器和2D Mip滤波器消除渲染伪影，实现无锯齿效果。该技术在CVPR 2024获得最佳学生论文奖，体现了其在计算机视觉和图形学领域的重要性。项目提供在线演示，展示了其高质量的渲染效果。

PuLID是一种基于对比对齐的ID定制技术，能够快速生成高质量个性化图像。该项目提供本地Gradio和在线Hugging Face演示，并获得社区广泛支持，包括Colab和Replicate等第三方实现。PuLID旨在推动AI图像生成领域的发展，为研究人员和开发者提供实用工具和资源。

Open-AnimateAnyone是一个非官方实现的AI动画生成项目，基于magic-animate和AnimateDiff构建。项目提供训练和推理代码，以及Gradio演示界面。在小规模数据集上进行训练，展示了有限数据条件下的动画生成能力。开发者分享了有价值的训练经验，为未来改进提供方向。尽管存在一些限制，该项目仍为AI动画生成技术的开放研究做出了贡献。

Scenic是一个基于JAX的开源视觉智能研究框架,聚焦注意力机制模型。它提供轻量级共享库和完整项目实现,支持分类、分割、检测等任务,可处理图像、视频、音频等多模态数据。Scenic内置多个前沿模型和基线,有助于快速原型设计和大规模实验。

MambaOut是一种新型视觉模型架构,通过堆叠门控CNN块构建,无需使用复杂的状态空间模型。在ImageNet图像分类任务中,它的性能超越了现有的视觉Mamba模型,同时具有较低的参数量和计算复杂度。该项目提供了从轻量级MambaOut-Femto到大型MambaOut-Base的多个预训练模型,在准确率和效率间实现平衡。研究人员可利用提供的代码和教程复现结果或应用于自身任务。

dust3r是一个开源的3D视觉重建项目，旨在简化几何3D视觉处理。该项目提供了一个能够从多张图像重建3D场景的模型。dust3r包含交互式演示功能、API接口和多个预训练模型，可适应不同分辨率和应用场景。项目还提供了训练指南和数据集预处理脚本，方便研究人员进行自定义开发。

Free3D是牛津大学VGG实验室开发的新型计算机视觉技术，可从单一图像生成一致性的多视角合成图,无需显式3D表示。该技术采用射线条件归一化和伪3D注意力机制,在Objaverse等多个数据集上展现优异性能。Free3D为计算机视觉和图形学领域提供了新的研究方向,有望应用于3D重建、虚拟现实等多个领域。

V-PETL Bench是一个统一的视觉参数高效迁移学习评测基准。该项目选择30个多样化数据集，涵盖图像识别、视频动作识别和密集预测任务，评估25种主流PETL算法。提供模块化代码库和完整训练资源，为计算机视觉研究提供全面评测平台。

ViTamin是一系列可扩展的视觉语言模型,在图像分类、开放词汇检测和分割等任务上取得突破。以436M参数量在DataComp-1B数据集训练,实现82.9%的ImageNet零样本准确率。在7个开放词汇分割基准测试中创新纪录,并提升大型多模态模型能力。获timm和OpenCLIP官方支持,提供简单接口。ViTamin为计算机视觉领域带来新的可能性。

该项目是一个基于PyTorch的开源在线测试时适应框架。支持CIFAR、ImageNet等多个数据集变体和预训练模型,实现了TENT、MEMO、EATA等多种测试时适应方法。框架采用模块化设计,易于扩展新方法,并提供混合精度训练功能。此外,项目还包含全面的基准测试结果和图像分割任务实验。

Medical-SAM2是一个开源的医学图像分割模型，基于SAM2框架开发。该模型支持2D和3D医学图像分割，适用于REFUGE眼底图像和BTCV腹部多器官等数据集。项目提供环境配置、数据准备和训练步骤指南，以及预训练权重。Medical-SAM2为医学图像分析研究提供了实用的工具和资源。

EfficientViT是一种新型ViT模型，专注于高效处理高分辨率密集预测视觉任务。其核心是轻量级多尺度线性注意力模块，通过硬件友好操作实现全局感受野和多尺度学习。该项目提供图像分类、语义分割和SAM等应用的预训练模型，在性能和效率间达到平衡，适合GPU部署和TensorRT优化。

StyleShot是一个开源的AI图像生成项目，专注于实现广泛的风格迁移能力。通过风格感知编码器和StyleGallery数据集，它能够模仿3D、扁平、抽象等多种风格，无需测试时微调。项目在风格迁移性能上展现出优势，为图像风格化研究提供了新的方向和可能性。

该项目汇集遥感基础模型相关论文、数据集、基准测试、代码和预训练权重。内容涵盖视觉、视觉-语言、生成式、视觉-位置、视觉-音频等多类型遥感基础模型,以及特定任务模型和遥感智能体。另外还包含大规模预训练数据集等资源,为遥感领域研究和开发提供全面支持。

项目汇集了文本到图像生成与编辑技术的各类资源,包括定量评估指标、训练数据集、开源代码实现及相关学术论文。内容全面且持续更新,涵盖该领域最新进展,可为研究人员和开发者提供有价值的参考信息。

OpenTAD是一个基于PyTorch的开源时序动作检测工具箱，支持9个TAD数据集。其模块化设计便于复现现有方法和实现新方法，支持基于特征和端到端的训练模式。该项目提供多种预提取特征，实现了多个前沿TAD方法，并在EPIC-KITCHENS-100和Ego4D 2024挑战赛中表现出色。

Tune-A-Video项目通过微调预训练的文本到图像扩散模型，实现高质量文本到视频生成。该方法仅需一个视频-文本对作为输入，即可快速适应新的视频生成任务。支持Stable Diffusion等多种预训练模型，能生成多样化风格的视频内容。项目开源代码实现，提供在线演示和预训练模型，为研究和开发提供便捷的文本到视频生成工具。

CoTTA是一个开源项目，专注于持续测试时间域适应研究。该项目实现了CoTTA、AdaBN和TENT等方法，用于解决图像分类和语义分割任务中的域适应问题。支持CIFAR、ImageNet和Cityscapes到ACDC等数据集的迁移实验，并提供了详细的实验指南和性能基准。这个框架有助于提升机器学习模型在变化环境中的适应能力，为计算机视觉领域的研究人员提供了实用工具。

video_features是一个开源的视频特征提取框架，支持视觉、音频和光流等多种模态。该框架集成了S3D、R(2+1)d、I3D-Net等动作识别模型，VGGish声音识别模型，以及RAFT光流提取模型。它支持多GPU和多节点并行处理，可通过命令行或Colab快速使用。输出格式灵活，适用于视频分析相关的研究和应用。

MixFormer是一种创新的端到端目标跟踪框架，采用目标-搜索混合注意力(MAM)骨干网络和角点头部结构，实现了无需显式集成模块的紧凑跟踪流程。这种无后处理方法在LaSOT、GOT-10K和TrackingNet等多个基准测试中表现卓越，并在VOT2020上取得0.584的EAO成绩。项目开源了代码、模型和原始结果，为目标跟踪研究领域提供了宝贵资源。

UniMatch是一个创新的半监督语义分割模型，适用于自然、遥感和医学图像分析。该模型重新定义了弱到强的一致性概念，在Pascal VOC、Cityscapes和COCO等多个标准数据集上实现了领先性能。UniMatch在各种标注比例下均优于现有方法，推动了半监督语义分割技术的发展。

VisionLLaMA是一个基于LLaMA架构的统一视觉Transformer模型，专为处理2D图像而设计。该模型提供平面和金字塔两种形式，适用于广泛的视觉任务，包括图像感知和生成。通过各种预训练范式的广泛评估，VisionLLaMA在多项图像生成和理解任务中展现出卓越性能，超越了现有最先进的视觉Transformer模型，为计算机视觉领域提供了新的基准。

HAT是一个开源的图像超分辨率项目，采用混合注意力转换器架构。它在Set5、Urban100等数据集上达到了最先进水平，参数量为20.8M。HAT还提供了小型模型版本和用于真实世界超分辨率的GAN模型，能够处理各种图像重建任务。

这是一个综合性长视频理解研究资源库,涵盖表征学习、高效建模、大语言模型等多个子领域。项目汇总了前沿研究论文、数据集和工具,对各子任务进行了系统梳理。为长视频理解研究者提供了全面的参考资源,有助于推动该领域的发展。

CamLiFlow和CamLiRAFT是利用双向相机-LiDAR融合进行光流和场景流联合估计的开源方法。这两种算法在FlyingThings3D和KITTI等数据集上实现了领先性能。CamLiRAFT改进了训练流程,增强了泛化能力,能够处理非刚性运动。该项目开源了预训练模型、结果和多数据集评估训练代码,为相关研究提供了有力基线。

nxtp项目开发了一种创新的物体识别方法，将任务转化为下一标记预测。该技术利用语言模型嵌入扩展预测空间，实现开放式标签生成。通过自回归处理和高效采样，nxtp可进行大规模标签预测，如生成前100个最可能的标签。这一方法无需预定义标签集，为计算机视觉领域的物体识别提供了更灵活的解决方案。

MeMOTR提出了一种基于Transformer的端到端多目标跟踪方法，通过长期记忆注入和定制记忆注意力层提升目标关联性能。该方法在DanceTrack和SportsMOT等数据集上展现出优秀的跟踪效果，为复杂场景的多目标跟踪提供了新思路。项目开源了代码、预训练模型和使用说明，便于研究者复现和改进。

Meta-Transformer是一个创新的多模态学习框架，可处理12种不同模态的数据，包括自然语言、图像、点云和音频等。该框架采用共享编码器架构和数据到序列转换方法，支持分类、检测和分割等多种任务。项目提供开源预训练模型和代码实现，为多模态AI研究提供了有力支持。

fastai是一个深度学习库，提供高层组件以快速实现高性能结果，同时为研究人员提供可组合的低层组件。通过分层架构和Python、PyTorch的灵活性，fastai在不牺牲易用性、灵活性和性能的情况下，实现了高效的深度学习。支持多种安装方式，包括Google Colab和conda，适用于Windows和Linux。学习资源丰富，包括书籍、免费课程和详细文档。