Project Icon

splatviz

交互式3D高斯分布场景编辑与可视化工具

splatviz是一个开源的3D高斯分布场景查看和编辑工具。它支持实时操作和可视化3D场景,用户可通过Python图形界面直接编辑高斯对象。该工具具备多场景对比、实时调试和视频生成等功能,为3D场景分析提供了灵活的解决方案。splatviz适用于调试和创意编辑,是一款功能丰富的3D场景处理工具。

splatviz

GitHub 主要语言 GitHub 发布 GitHub 最后提交 静态徽章 静态徽章

这个交互式查看器允许您实时显示和编辑3D高斯溅射场景。通过使用Python GUI库(pyimgui),我们可以在渲染之前直接操作高斯Python对象。这使得无限的编辑和可视化成为可能。您还可以在渲染后评估Python表达式,允许您实时访问和调试3D场景。此外,您可以通过并排比较或分屏视图同时可视化多个场景。最后,您还可以保存当前场景的渲染图、ply文件,甚至是场景360°旋转的视频。

在这个视频中查看一些编辑示例。

最新更新: splatviz现在支持实时跟踪正在运行的3DGS训练:视频

安装

1. 下载 递归克隆仓库以从diff_gaussian_rasterization包中安装glm。
git clone https://github.com/Florian-Barthel/splatviz.git --recursive
2. 安装 使用conda创建conda环境:
conda env create \
-f environment.yml

conda activate gs-view
或者,使用micromamba创建环境:
micromamba env create \
--file environment.yml \
--channel-priority flexible -y

micromamba activate gs-view

启动

模式描述命令
默认模式默认模式加载并渲染存储在ply文件或压缩yml文件中的标准3DGS场景。
python run_main.py

或指定包含.ply或.yml文件的路径启动:

python run_main.py --data_path=path/with/ply/files
附加到训练附加模式允许您查看和编辑正在运行的3DGS训练。这适用于3DGS的默认实现。要在训练期间编辑场景并查看一些额外信息,请按照此处描述的简单步骤操作。
python run_main.py --mode=attach
解码器模式解码器模式渲染由3D GANs生成的人头,来自这篇论文
python run_main.py \
--mode=decoder \
--data_path=path/with/pkl/files \
--ggd_path=path/to/gaussian_gan_decoder/project

小部件

🗃️ 加载小部件

运行run_main.py文件后,查看器将直接加载在指定数据目录中找到的第一个场景。您可以通过点击浏览按钮更改场景。您将看到可用的_.ply_文件(或对应于使用压缩方法的压缩高斯场景的_.yml_文件)列表。如果您有很多场景可供选择,还可以使用过滤器文本字段提供逗号分隔的关键词(例如_lego,30000,baseline_)。然后您将只看到包含所有关键词的场景。

此外,您还可以同时查看多个3D场景。只需点击添加场景,它会加载与之前相同的场景,然后使用新的浏览按钮将相应的场景更改为另一个.ply文件。场景可以并排渲染,或在激活分屏复选框时以分屏模式渲染。

您可以在这里下载一些示例场景。它们是使用来自https://fraunhoferhhi.github.io/Self-Organizing-Gaussians 的高斯溅射压缩方法创建的。

🛠️ 编辑小部件

编辑小部件是这个3D查看器的核心功能。它允许在运行时实时编辑高斯Python对象。您在此文本区域中输入的代码将在高斯对象被转发到cuda渲染器之前执行。这意味着,编辑能力是无限的。只要提供的代码可执行,您可以输入任何类型的Python代码,还可以导入新库。一个例子可能如下所示,其中所有尺度都设置为-8(在用_exp()_激活之前),所有不透明度值都设置为10(在用_sigmoid()_激活之前),同时背景设置为1,对应白色。

gaussian._scaling = gaussian._scaling * 0 - 8
gaussian._opacity = gaussian._opacity * 0 + 10
self.bg_color[:] = 1

为了实现平滑的编辑过渡,您可以创建滑块(按添加滑块),可以在编辑器文本中通过输入slider.name(例如slider.x)访问这些滑块。一个例子可能如下所示。在这里,我们创建一个布尔掩码,过滤掉所有小于存储在slider.x中的值的高斯。

mask = torch.linalg.norm(gaussian._scaling, dim=-1) < slider.x

gaussian._xyz = gaussian._xyz[mask]
gaussian._rotation = gaussian._rotation[mask]
gaussian._scaling = gaussian._scaling[mask]
gaussian._opacity = gaussian._opacity[mask]
gaussian._features_dc = gaussian._features_dc[mask]
gaussian._features_rest = gaussian._features_rest[mask]

最后,您可以保存和加载代码片段的预设,这样在关闭应用程序后就不必再次输入相同的代码。这些预设存储在.json文件(presets.json)中。

🔍 评估小部件

评估小部件可用于调试高斯溅射对象。通过输入在渲染后执行的Python代码,您可以访问渲染上下文中的任何变量并在直方图中可视化它们。一些有用的变量可能是:

  • gaussian
  • render
  • render_cam
  • self

您还可以访问在编辑小部件的编辑器中定义的变量。

🎥 相机小部件

在相机小部件中,您可以定义相机的类型和参数。最重要的是,您可以在轨道WASD两种模式之间选择。

轨道模式下,相机注视3D空间中的特定点,您可以通过在渲染视图上用鼠标拖动来控制相机在围绕该点的球面上旋转的俯仰角和偏航角。

WASD模式下,您可以使用鼠标和WASD键通过场景飞行,类似于Unity中的相机控制。

重要提示:如果加载的场景旋转不正确,您可以通过操纵相机使其直接向上或向下看来调整。然后通过按设置当前方向将上向量设置为当前视图方向。如果您之前是向下看的,您需要按翻转按钮,因为场景现在是倒置的。

🎞️ 视频小部件

视频小部件可以创建当前对象完整旋转的视频序列。 只需定义相机高度和渲染分辨率即可。在视频渲染过程中,用户界面将被冻结。终端输出中会显示一个加载屏幕。

🚧此功能仍在建设中🚧。目前生成视频的方式不太直观,因为相机位置仅由相机高度参数定义。这将在未来进行改进。

📈 性能小部件

在性能小部件中,你可以跟踪查看器的FPS和渲染器的FPS。你还可以为FPS指定限制并启用垂直同步。未来还将提供性能模式,跳过一些编辑和评估计算。

🖥️ 渲染小部件

在渲染选项卡中,你可以指定渲染分辨率(目前仅支持方形分辨率)和渲染模式。 除了RGB,你还可以渲染图像的3D深度和alpha值。

💾 保存小部件

要保存.ply文件或当前(编辑后)3D场景的渲染,请按保存小部件中的相应按钮。这些文件将保存在_screenshots或_ply_files下。保存ply文件后,查看器可能会短暂冻结。

⭐ 最新功能

版本1.1.0

  • 2024-08-12: 添加新的训练小部件,用于检查实时训练统计数据并暂停训练
  • 2024-08-11: 连接到正在运行的3DGS训练
  • 2024-08-10: 重构渲染类,便于添加新的渲染器
  • 2024-08-07: 改进鼠标控制(使用中键平移)
  • 2024-08-05: 允许编辑现有滑块
  • 2024-07-30: 在预设中存储滑块值
  • 2024-07-28: 新的性能小部件
  • 2024-07-28: 编辑器现在突出显示特殊变量(gs、self、slider)并提供工具提示

版本1.0.0

  • 2024-07-12: 使用imgui_bundle重建整个应用程序
  • 2024-07-05: 并排比较两个或多个高斯散射场景

🔭 未来计划

  • 测试其他3DGS渲染器以支持OSX
  • 改进视频小部件
  • 编写新部件或渲染器的教程

贡献

欢迎你为这个交互式查看器添加更多功能或更好的设计! 主要目标是创建一个易于使用的工具,可用于调试和理解3D高斯散射对象。 请使用black进行代码格式化,并设置--line-length 120。

引用

如果你发现这个查看器有用,请考虑引用我们的工作:

@misc{barthel2024gaussian,
    title={Gaussian Splatting Decoder for 3D-aware Generative Adversarial Networks}, 
    author={Florian Barthel and Arian Beckmann and Wieland Morgenstern and Anna Hilsmann and Peter Eisert},
    year={2024},
    eprint={2404.10625},
    archivePrefix={arXiv},
    primaryClass={cs.CV}
}

参考文献

这个查看器的灵感来自Efficient Geometry-aware 3D Generative Adversarial Networks (EG3D)的可视化工具。

项目侧边栏1项目侧边栏2
推荐项目
Project Cover

豆包MarsCode

豆包 MarsCode 是一款革命性的编程助手,通过AI技术提供代码补全、单测生成、代码解释和智能问答等功能,支持100+编程语言,与主流编辑器无缝集成,显著提升开发效率和代码质量。

Project Cover

AI写歌

Suno AI是一个革命性的AI音乐创作平台,能在短短30秒内帮助用户创作出一首完整的歌曲。无论是寻找创作灵感还是需要快速制作音乐,Suno AI都是音乐爱好者和专业人士的理想选择。

Project Cover

有言AI

有言平台提供一站式AIGC视频创作解决方案,通过智能技术简化视频制作流程。无论是企业宣传还是个人分享,有言都能帮助用户快速、轻松地制作出专业级别的视频内容。

Project Cover

Kimi

Kimi AI助手提供多语言对话支持,能够阅读和理解用户上传的文件内容,解析网页信息,并结合搜索结果为用户提供详尽的答案。无论是日常咨询还是专业问题,Kimi都能以友好、专业的方式提供帮助。

Project Cover

阿里绘蛙

绘蛙是阿里巴巴集团推出的革命性AI电商营销平台。利用尖端人工智能技术,为商家提供一键生成商品图和营销文案的服务,显著提升内容创作效率和营销效果。适用于淘宝、天猫等电商平台,让商品第一时间被种草。

Project Cover

吐司

探索Tensor.Art平台的独特AI模型,免费访问各种图像生成与AI训练工具,从Stable Diffusion等基础模型开始,轻松实现创新图像生成。体验前沿的AI技术,推动个人和企业的创新发展。

Project Cover

SubCat字幕猫

SubCat字幕猫APP是一款创新的视频播放器,它将改变您观看视频的方式!SubCat结合了先进的人工智能技术,为您提供即时视频字幕翻译,无论是本地视频还是网络流媒体,让您轻松享受各种语言的内容。

Project Cover

美间AI

美间AI创意设计平台,利用前沿AI技术,为设计师和营销人员提供一站式设计解决方案。从智能海报到3D效果图,再到文案生成,美间让创意设计更简单、更高效。

Project Cover

AIWritePaper论文写作

AIWritePaper论文写作是一站式AI论文写作辅助工具,简化了选题、文献检索至论文撰写的整个过程。通过简单设定,平台可快速生成高质量论文大纲和全文,配合图表、参考文献等一应俱全,同时提供开题报告和答辩PPT等增值服务,保障数据安全,有效提升写作效率和论文质量。

投诉举报邮箱: service@vectorlightyear.com
@2024 懂AI·鲁ICP备2024100362号-6·鲁公网安备37021002001498号