gsplat
gsplat是一个开源库,用于CUDA加速高斯点的光栅化,并提供Python绑定。它受到SIGGRAPH论文《3D高斯点绘制用于辐射场的实时渲染》的启发,但我们让gsplat变得更快、更节省内存,并且还有越来越多的新功能!
安装
依赖:请先安装Pytorch。
最简单的方法是从PyPI安装。这种方式会在首次运行时构建CUDA代码(即时编译)。
pip install gsplat
或者从源代码安装。这种方式会在安装过程中构建CUDA代码。
pip install git+https://github.com/nerfstudio-project/gsplat.git
要在Windows上安装gsplat,请查看这份说明。
评估
本仓库附带了一个独立脚本,可以重现官方高斯点绘制的性能,在PSNR、SSIM、LPIPS和收敛的高斯点数量上完全相同。得益于gsplat高效的CUDA实现,训练所需的GPU内存最多可减少4倍,完成时间最多可缩短15%。完整报告可以在这里找到。
# 在examples/目录下
pip install -r requirements.txt
# 下载mipnerf_360基准数据集
python datasets/download_dataset.py
# 运行批量评估
bash benchmarks/basic.sh
示例
我们提供了一系列示例来帮助你入门!以下是关于这些示例的详细信息(需要通过pip install -r examples/requirements.txt
安装一些额外的依赖)
开发和贡献
这个仓库源于Nerfstudio团队成员对理解新渲染技术的好奇心。我们欢迎任何形式的贡献,并乐于接受反馈、错误报告和改进建议,以帮助扩展这个软件的功能。
本项目由以下杰出贡献者开发(排名不分先后):
- Angjoo Kanazawa(加州大学伯克利分校):项目导师。
- Matthew Tancik(Luma AI):项目导师。
- Vickie Ye(加州大学伯克利分校):项目负责人。v0.1版本负责人。
- Matias Turkulainen(阿尔托大学):核心开发者。
- Ruilong Li(加州大学伯克利分校):核心开发者。v1.0版本负责人。
- Justin Kerr(加州大学伯克利分校):核心开发者。
- Brent Yi(加州大学伯克利分校):核心开发者。
- Zhuoyang Pan(上海科技大学):核心开发者。
- Jianbo Ye(亚马逊):核心开发者。
我们还提供了数学补充材料,包括约定和推导,可在这里查看。如果您在项目或论文中发现这个库有用,请考虑引用:
@misc{ye2023mathematical,
title={Mathematical Supplement for the $\texttt{gsplat}$ Library},
author={Vickie Ye and Angjoo Kanazawa},
year={2023},
eprint={2312.02121},
archivePrefix={arXiv},
primaryClass={cs.MS}
}
我们欢迎任何形式的贡献,并乐于接受反馈、错误报告和改进建议,以帮助扩展这个软件的功能。有关开发的更多信息,请查看docs/DEV.md。