#神经渲染
GaussianShader: 3D高斯飞溅与反射表面着色函数
Infusion
InFusion项目提出了一种创新的3D场景修复方法,通过学习扩散先验的深度完成来修复3D高斯体。该技术实现了对不完整3D场景的高质量修复,能够处理复杂的遮挡情况。InFusion为3D重建和虚拟现实等领域提供了新的解决方案,项目开源了推理代码和预训练模型,为相关研究和开发提供了重要资源。
gta
GTA是一种创新的几何感知注意力机制,旨在提升多视图Transformer的表达能力。这项技术不仅适用于新视角合成和3D场景重建等多视图任务,还可应用于图像生成等2D任务。项目提供了GTA在CLEVR-TR和MSN-Hard数据集上的官方实现代码,并展示了其在ImageNet图像生成中的应用。通过整合几何信息,GTA使Transformer更有效地处理3D空间关系,从而显著提高多视图任务的性能表现。
mvsplat
MVSplat是一种基于3D高斯分布渲染的多视角图像重建技术。该项目利用深度学习和计算机视觉方法,从稀疏的多视角图像高效重建3D场景并实现新视角渲染。MVSplat在RealEstate10K和ACID数据集上表现优异,并具有良好的跨数据集泛化能力。项目提供了安装指南、预训练模型和评估代码,便于研究人员进行复现和改进。
GaussianShader
GaussianShader是一种新型3D渲染方法,通过在3D高斯上应用简化着色函数,提高了反射表面场景的神经渲染质量。这种方法保持实时渲染速度,同时实现不同光照环境下的高保真自由视角渲染。通过结合传统属性和新的着色属性,GaussianShader能够准确捕捉视角依赖的外观,为反射和漫反射表面重建提供高质量的材质和光照效果。
LightGaussian
LightGaussian项目开发了一种新型3D高斯模型压缩方法。该方法结合了剪枝、恢复、SH蒸馏和VecTree量化技术,实现了15倍的存储压缩,同时保持200+FPS的渲染速度。在保持图像质量的前提下,LightGaussian显著减小了模型体积,为实时3D场景渲染和AR/VR应用开辟了新途径。项目提供了开源代码、使用指南和示例,便于研究人员和开发者进行深入研究和应用开发。
CF-3DGS
CF-3DGS是一种新型3D场景重建技术,无需依赖COLMAP等传统SfM工具。该方法可直接从未标定图像序列学习3D高斯散射表示,通过迭代优化相机姿态和场景表示来实现高质量新视角合成。在Tanks and Temples等数据集上,CF-3DGS展现出优秀性能,为3D重建和新视角合成领域提供了高效灵活的解决方案。
flare
FLARE是一种新型3D头像生成方法,能从多视角图像快速学习几何形状、材质和光照信息。该技术生成的头像模型具有高质量的可动画化和可重光照特性,同时提高了生成效率。FLARE在计算机图形学领域具有重要应用价值,可用于虚拟现实、增强现实和数字人等领域,为创建个性化和交互式虚拟形象提供了新的技术支持。
Gaussian-SLAM
Gaussian-SLAM是一种创新的3D场景重建技术,将高斯散射与SLAM系统相结合。该技术能够准确映射环境,生成高质量纹理和细节,实现照片级真实的稠密重建效果。Gaussian-SLAM在Replica、TUM_RGBD、ScanNet等多个数据集上展示了优秀性能,为实时3D重建和增强现实应用开辟了新途径,是计算机视觉和机器人领域的重要进展。
IJCAI2023-CoNR
IJCAI2023-CoNR项目开发了一种协作式神经渲染技术,可将手绘动漫角色设定图转换为舞蹈视频。该技术结合超密集姿态序列和角色设定图,实现高质量动画生成。这项研究为动漫创作提供了新工具,可能显著改变传统动漫制作流程。项目已开源代码和数据集,并提供在线演示和教程,便于研究者和开发者探索应用。